2025年损失函数对离群点最敏感（2025年损失函数l1）

loss损失函数选用小结

1、指数损失函数（exponential loss）：对离群点和噪声非常敏感，常用于AdaBoost算法中。Hinge损失函数：如果分类正确，损失为0，否则损失线性增加。用于SVM算法，对异常点不敏感，但缺乏概率解释。感知损失函数：与Hinge损失函数类似，但在边界附近对正确分类的惩罚较低。

2、总结损失函数是深度学习模型训练过程中的核心组成部分，不同类型的任务需要选择合适的损失函数。回归任务中，MSE Loss、MAE Loss和Pseudo-Huber Loss各有优缺点，需根据具体需求选择。

3、这个损失函数的选择是基于极大似然估计的原理。假设模型预测为1的概率为$hat{y}$，那么预测为0的概率就是$1-hat{y}$。

深度学习-Loss函数

深度学习中的Loss函数是用于估量模型的输出与真实值之间的差距，给模型的优化指引方向。以下是几种常见的Loss函数及其特点：均方差损失：定义：衡量模型预测值与真实值之间差的平方的平均值。特点：对误差的平方进行惩罚，对离群点的惩罚较大。平均绝对误差损失：定义：衡量模型预测值与真实值之间差的绝对值的平均值。

深度学习模型在训练过程中，loss值出现Nan（Not a Number）是一个常见且需要重视的问题。Nan的出现通常意味着计算过程中出现了无法定义的数学运算，如0除以0、负数的平方根或对数函数的非法输入等。在深度学习中，loss函数中的log函数输入值为0是导致Nan的常见原因之一。

在深度学习中，Loss函数（损失函数）是衡量模型预测结果与真实结果之间差异的重要工具。选择合适的Loss函数对于模型的训练效果和性能至关重要。以下是对深度学习中常用Loss函数的总结，包括回归损失、分类损失、目标检测损失以及图像分割损失等多个方面。

如何选择合适的损失函数,请看...

在选择损失函数时，应考虑数据集的特性，如是否存在离群点。MSE适用于敏感度高的情况，而MAE对离群点更具鲁棒性。Huber Loss结合了MSE和MAE的优点，适用于数据可能含有离群点的情况。Log-Cosh Loss则在平滑性上优于L2损失，适用于需要平滑损失函数的场景。最终选择哪种损失函数取决于具体问题和数据集的特性。

交叉熵损失在某些情况下可能效率较低且不稳定，可以考虑使用其他损失函数，如WGAN中的Wasserstein损失、Least Squares GAN的损失等。网络结构与设计 随机噪声z的选择：使用高斯分布采样而非均匀分布来生成随机噪声z。BatchNorm的使用：在一个mini-batch中只包含真实样本或虚假样本，不要混合训练。

优化器和学习率：优化器的选择和学习率的设置对模型的训练效果有很大影响。建议：尝试使用不同的优化器（如Adam、SGD等）和学习率调整策略（如学习率衰减、学习率预热等），以找到最适合您任务的配置。