2025年损失函数和激活函数的区别（2025年损失函数和激活函数的区
一般nn.functional都有哪些函数?
nn.functional 是 PyTorch 中的 API，提供了一系列用于神经网络操作的函数。以下是一些常见的函数类别及其包含的部分函数：激活函数：ReLU：线性修正单元，常用于隐藏层。Sigmoid：将输入映射到 区间，常用于二分类输出层。Tanh：双曲正切函数，将输入映射到 区间。
nn.functional模块提供了在nn库中未实现的函数，如softmax、sigmoid、max_pool2d等，这些函数可以作为独立函数在模型构建中使用。与nn模块不同，nn.functional函数不自动跟踪计算图和计算梯度。nn.Sequential是一个容器，用于按顺序组织多个层。它在创建时接受层作为参数，执行时会按照传入构造器的顺序执行。
非线性激活函数、Normalization 函数、线性函数、Dropout 函数、距离函数、损失函数。计算向量vv2之间的距离（成次或者成对）。计算向量之间的距离（成次或者成对）。参数：距离计算公式。例子：计算向量之间的距离。损失函数。负的log likelihood损失函数。详细请看 NLLLoss。
损失函数
公式：$L=-frac{1}{n}sum_n[ylnp+（1-y）ln（1-p）]$描述：本质上也是一种对数似然函数，常用于二分类问题。特点：完美解决平方损失函数权重更新过慢的问题；具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。
损失函数（Loss Function）是机器学习领域中用于评估模型预测结果与实际观测值之间差异的函数。在训练过程中，模型通过最小化损失函数来优化其参数，从而提高预测准确性。
损失函数 定义：损失函数一般是指对单个样本的损失进行计算的函数。它衡量的是模型预测值与实际值之间的差异或误差。公式：通常表示为 $left| y_i-f（x_i） right|$，其中 $y_i$ 是样本 $i$ 的实际值，$f（x_i）$ 是模型对样本 $i$ 的预测值。
计算机视觉CV知识点总结-基础理论
计算机视觉CV基础理论知识点总结如下：数据预处理与增强：数据预处理：包括数据清洗、归一化、标准化等操作，以适应模型需求，确保模型的训练质量与泛化能力。数据增强：通过旋转、翻转、缩放等手段生成多样化的样本，增加模型训练的丰富度。卷积神经网络结构：卷积层：通过卷积操作提取图像特征。
熵作为信息论中的概念，交叉熵用它来衡量预测分布与真实分布的信息差异。梯度下降法是优化器的基础，随机梯度下降法通过随机选取样本进行梯度计算，加速训练过程。Adam优化器综合考虑了梯度的平滑性与历史信息，显著提升训练效率。
计算机视觉CV知识点总结多个方向：图像分类： Mobilenet为什么快：通过深度可分离卷积减少计算量，使用宽度乘数和分辨率乘数进一步压缩模型。 残差网络Residual Network：通过引入残差连接，解决深层网络训练困难的问题。 ResNet为什么不用Dropout：残差连接本身具有正则化效果，减少了过拟合的风险。
CV基础知识学习之准备篇 计算机视觉的定义 计算机视觉（Computer Vision）是一门研究如何使机器“看”的科学，更进一步地说，它是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉任务。
人工智能OPENCV技术大纲主要包括以下几个部分：基础知识：数学基础：线性代数、概率论与统计学、微积分等，这些是理解深度学习算法和模型的基础。编程语言：主要学习Python，因为它是AI和CV领域最常用的编程语言。计算机视觉基础：了解图像处理的基本概念，如图像滤波、边缘检测、二值化等。
年小白自学计算机视觉超详细梳理总结就业方向概览 算法工程师（核心方向）负责CV算法研发、模型优化，如目标检测、图像分割、人脸识别等。需熟悉深度学习框架（PyTorch/TensorFlow）和模型部署（ONNX、TensorRT）。AI产品经理 负责CV产品需求分析、落地场景设计，如安防、医疗影像等。
大模型面试八股(基础知识)
大模型和AI算法岗面试八股（附答案）基础知识篇 什么是大模型（Large Model）？答案：大模型通常指的是具有海量参数和复杂结构的深度学习模型，这些模型能够在大规模数据集上进行训练，从而学习到丰富的特征表示和模式识别能力。大模型在自然语言处理、计算机视觉等领域取得了显著成果。
现在的大模型大部分是Decoder only结构，主要是因为Casual Attention是满秩的，而Encoder-Decoder可能会出现低秩现象，导致模型性能下降。 训练方式损失函数：KL散度、交叉熵、MSE损失、多分类损失、InfoNCE损失、NCE损失等。MIP：Multi-Task Instruction PreTraining，多任务指令预训练。
软件测试面试八股文——基础篇软件测试方法有哪些分类？各自有什么特点？设计测试用例的主要方法有哪些？软件测试方法的分类及特点：白盒测试：测试人员利用程序内部的逻辑结构及相关信息，设计或选择测试用例，对程序所有的逻辑路径进行测试。
Deepspeed：Deepspeed是一个简单易用的训练框架，它支持多机多卡训练，并且大部分配置都可以在config文件中直接完成。Deepspeed对ZeRO系列提供了良好的支持，使得用户可以在不修改模型代码的情况下实现显存优化。此外，Deepspeed还支持pipeline并行，但需要用户进行一些修改以适应其框架。
pinn求解微分方程陷入平凡解
PINN求解微分方程时陷入平凡解的主要原因是损失函数权重失衡、超参数选择不当、物理约束不足、训练数据分布问题及优化器选择不当，可通过调整损失权重、优化超参数、增强物理约束、改进数据采样和更换优化器等方法解决。 损失函数权重失衡PINN的总损失函数通常包含物理方程残差（PDE损失）和边界/初始条件损失。