2025年损失函数csdn（2025年损失函数常见6个公式）

损失函数与鲁棒性

优于交叉熵：在ResNet-50和ResNet-200上，监督对比学习在AutoAugment数据增强方法下，相比交叉熵提高了超过1%的准确率，达到了78%的新水平。此外，该损失函数在标准基准测试上也显示出对自然腐蚀的鲁棒性优势，包括在校准和准确性方面的表现。

L2损失函数：定义：通过最小化目标值Y与预测值Y_hat之间的平方差来衡量模型的误差，常用于回归问题。特点：对异常值较为敏感，因为平方操作会放大误差。L1损失函数：定义：通过最小化目标值Y与预测值Y_hat之间的绝对差来衡量模型的误差。特点：对异常值具有较强的鲁棒性，因为绝对值操作不会放大误差。

L2正则的等高线为圆形，与损失函数等高线相交时倾向于非零小值。参数更新：L2正则通过weight_decay实现，每次迭代将权重乘以（ （1-lambda） ）。L1正则需通过次梯度法或近端梯度法优化。应用场景 L1正则：适用于特征选择、高维数据（如文本分类），或需要解释性的场景。

图像超分辨率总损失函数的不同参数怎么选择

1、根据任务需求、数据特点选择。根据查询CSDN官网显示，任务需求：不同的任务对图像超分辨率总损失函数参数不同，对于人脸识别等任务，需要更高的PSNR和SSIM，对于艺术风格转换等任务，需要更多的纹理细节和视觉效果。

2、超分网络训练部分，一般使用adam优化器，学习率很多设置为1e-4或者5e-4，batch_size一般为16或者32，损失函数一般为L1Loss，L2Loss，L1_Charbonnier_loss等，其中L1_Charbonnier_loss效果好些。训练一般需要500个epoch左右，具体时间视情况而定。

3、综上所述，SRCNN是一种简单而有效的图像超分辨率重建技术，它通过卷积神经网络实现了从LR图像到HR图像的映射关系。SRCNN的设计思路来源于稀疏编码，并通过三层网络结构实现了高效的超分辨率重建。在训练过程中，作者采用MSE作为损失函数，并通过调整网络结构和参数取得了显著的效果。

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

Pytorch中常用的交叉熵损失函数CrossEntropyLoss详解如下： 定义： CrossEntropyLoss是Pytorch中用于分类任务的一个损失函数，它结合了nn.LogSoftmax和nn.NLLLoss两个函数的功能。

nn.CrossEntropyLoss（）函数的核心参数包括无权重、大小平均、忽略索引、可选择的减少和还原模式，以及标签平滑。在计算交叉熵损失时，函数会考虑输入的logits（模型的原始输出分数）与目标的真实标签。

在PyTorch中，NLLLoss（）和CrossEntropyLoss（）是两个常用的损失函数，它们本质上都是基于交叉熵的损失函数，但在使用上有所不同。下面将详细解释这两个损失函数的定义、区别以及使用场景。定义 NLLLoss（Negative Log Likelihood Loss）：负对数似然损失函数。

交叉熵损失函数是深度学习中分类问题常用的损失函数之一，它通过度量真实分布和预测分布之间的差异来指导模型的训练。在PyTorch中，torch.nn.CrossEntropyLoss类提供了方便的实现，并允许通过参数调整来适应不同的训练需求。（注：该图片为交叉熵损失函数的一个示意图，展示了损失值随预测概率变化的趋势。

CrossEntropyLoss定义：CrossEntropyLoss是交叉熵损失，用于评估两个概率分布之间的差异。原理：交叉熵直接使用交叉熵公式去评估预测分布和真实分布之间的差异。在PyTorch中，CrossEntropyLoss实际上是LogSoftMax和NLLLoss的结合体，它内部会先对模型的输出进行softmax处理，再计算NLLLoss。