2025年损失函数变化曲线（2025年损失函数下降的原因）

(4)损失函数

1、Logistic损失函数也是0-1损失函数的凸上界，且该函数处处光滑，因此可以使用梯度下降法进行优化。但是，该函数对所有样本点都做惩罚，因此 对异常点更为敏感 。 Cross Entropy （2）回归问题 均方差损失函数 当预测值距离真实值越远时，平方损失函数的惩罚力度越大，因此对异常点比较敏感。

2、End-to-End Optimization （4）：SPO+ 损失函数及其性质 SPO+ 损失函数是在“Smart ‘Predict， then Optimize’”框架下提出的一种用于优化预测与决策之间关系的损失函数。

3、损失函数有多种类型。常见的损失函数类型 均方误差损失函数（Mean Squared Error，MSE） 交叉熵损失函数（Cross Entropy Loss） 绝对误差损失函数（Mean Absolute Error，MAE） Huber损失函数 对数损失函数（Log Loss） Hinge Loss（常用于支持向量机分类算法中）等。

4、本文重点介绍了几种基于IoU的损失函数：IOU损失、GIOU损失、DIoU损失、CIOU损失和EIOU损失。这些损失函数旨在平衡对大物体和小物体的学习，并考虑预测框与真实框的重叠度、中心点距离以及长宽比的一致性。它们通过引入额外的惩罚项和动态调整因子，提高了模型对边界框回归的准确性。

【小白入坑篇】分类Loss函数

loss表达式为：$L = -sum_{i=1}^{N}y_ilog（p_i）$，其中$N$为类别数，$y_i$为目标值（经过one-hot编码），$p_i$为预测值（经过softmax函数）。优缺点：优点：函数单调且连续可导，便于求导；适用于多分类任务。缺点：在正负样本不均衡时，模型可能倾向于输出占比较大的类别，导致分类效果不佳。

损失函数：简介：适用于二分类问题，预测正确则损失为0，错误则为1。特点：简单直接，但对错误分类的惩罚均匀，且不可导，因此在实际应用中较少使用。交叉熵损失：简介：二分类和多分类任务中常用的损失函数，结合了熵的概念，通过预测值与真实值的差距度量不确定性。

在深度学习中，loss函数就像一个裁判，衡量每个训练样本的预测结果与真实值的误差。损失函数与代价函数、目标函数有所区别：损失函数针对单个样本，代价函数则考虑整个数据集；目标函数包括损失加正则化项。理解这些概念有助于优化网络学习效果。

损失函数图是折线图还是连续曲线图

损失函数图既可以是折线图也可以是连续曲线图。折线图表示 在大多数情况下，损失函数图是以折线图的形式呈现的。这种表示方法主要用于监控和绘制训练过程中的损失函数值。在折线图中，y轴代表损失函数的值，而x轴则代表训练的轮次（或迭代次数）。通过折线图，我们可以直观地看到随着训练的进行，损失函数值是如何变化的。

Hinge损失函数的图像表示Hinge损失函数的图像是一个折线图，当$ycdot（wcdot x+b）1$时，损失为0；当$ycdot（wcdot x+b）leq1$时，损失与$1-ycdot（wcdot x+b）$成正比。这个图像直观地展示了Hinge损失函数对分类错误样本的惩罚机制。

根据模型生成的预测结果，创建一个时间序列图表，横轴为时间，纵轴为预测结果。 将模型预测的结果与真实数据进行对比。可以在同一时间序列图表上显示真实数据和预测结果，以便进行比较。 使用误差指标（如均方误差、平均绝对误差等）来评估模型预测的准确性。

一些常用的损失函数

以下是一些常用的损失函数： 0-1损失 描述：直接对应错误个数，非凸。特点：直观但不易于优化，通常用于理论分析或简单分类问题的评估。 均方误差（MSE）描述：计算预测值与真实值之间差的平方的平均值。特点：对误差敏感，常用于回归问题；但受异常值影响较大。 绝对损失 描述：计算预测值与真实值之间差的绝对值。

常用的损失函数包括但不限于以下几种： Zero-one Loss（0-1损失）定义：如果预测值与目标值不相等，损失为1，否则为0。特点：是最原始的损失函数，非凸、不连续、不可导，因此在依赖于反向传播的深度学习任务中无法使用。

分类任务损失函数交叉熵损失（Cross-Entropy Loss）二分类（Binary Cross-Entropy）公式：其中，$y_i$ 是真实标签（0或1），$p_i$ 是预测概率。应用场景：逻辑回归、二分类神经网络等。

描述：均方误差损失函数是最常用的回归损失函数之一，用于衡量预测值与真实值之间的差异。其中，$y$ 是真实值，$hat{y}$ 是预测值，$n$ 是样本数量。优点：计算简单。对异常值具有鲁棒性。缺点：对大误差的惩罚较大，可能导致模型过于关注大误差样本。应用场景：回归任务。

Hinge损失函数：关注判定边界附近的样本，对泛化性能有影响，常用于支持向量机。 Perceptron损失函数：简化版Hinge，对判定正确性要求高，适用于感知机算法。 交叉熵损失函数：多分类和二分类问题，考虑置信度，是神经网络分类任务中的常用损失函数。

一文读懂目标检测中的各种IoU损失函数

1、一文读懂目标检测中的各种IoU损失函数 在目标检测任务中，边界框回归是确定目标位置的关键技术，它使用矩形边界框预测目标对象在图像中的位置。

2、在目标检测任务中，Bounding Box Regression Loss Function 的选择至关重要。本文将深入剖析四个常用损失函数：IOU、GIOU、DIOU 和 CIOU，通过简单示例解析其计算原理和特点。

3、IOU损失函数： 定义：IOU损失函数通过计算两个边界框的交并比来衡量它们的重叠程度。值越接近1，表示重合度越高。 特点：IOU损失函数直观反映了边界框的重叠情况，但存在MSE损失无法准确衡量的问题。

4、IOU、GIOU、DIOU、CIOU损失函数详解：IOU： 定义：IOU损失函数通过计算两个边界框的交集面积与并集面积之比来度量重合度。 特点：IOU是目标检测中最基础的损失函数，能够直接反映预测框与真实框的重合程度，但对于非重合部分没有直接的优化能力。