Loss Function分类

1 均方误差(Mean Squared Error, MSE)

MSE（均方误差）损失是机器学习中使用的数学函数，用于衡量预测输出与真实输出之间的平均平方差。它通常用作回归问题的损失函数，目标是预测连续的目标变量。

定义：

$MSE=\frac{1}{n}\sum_{i=1}^{n}(x_i - \hat{x}_i)^2$

其中 $n$ 是样本数量，$x_i$ 是原始输入，$\hat{x}_i$ 是重构输出。

优点：

1. 易于计算，即使对于大型数据集也可以高效计算；
2. 可微分，使得它适合使用基于梯度下降的方法进行优化；
3. 强调离群值，因为 MSE 衡量的是预测值和真实值之间的平方差，所以它更强调较大的误差或离群值；
4. 常用，MSE是机器学习中广泛使用的损失函数，很多算法和库都支持它。

应用场景：

1. 回归模型：MSE 通常用作回归模型中的损失函数，其目标是预测连续的目标变量；
2. 自编码器（AE）模型：MSE 通常用作AE模型中的重建损失，其目标是从embedding表示中重建输入数据；
3. 图像和信号处理：MSE 可用于测量图像和信号处理应用中重建图像或信号的质量；
4. 异常检测：MSE 可用于通过识别自动编码器模型中具有高重构误差的样本来检测数据中的异常。

2 软子空间正交性约束(Soft Subspace Orthogonality Loss)

3

$$L_{a d v}=\sum_{i=0}^{N_{s}+N_{t}}d_{i}l\log(\hat{d_{i}})+(1-d_{i})\log(1-\hat{d_{i}})$$