2025年损失函数和迭代次数的曲线（2025年损失函数总结）

风控模型-逻辑回归模型介绍

风控模型-逻辑回归模型介绍 逻辑回归模型虽然在名字上带有“回归”二字，但本质上它是一个二分类模型。该模型通过计算得到对于标签的预测值，该预测值实际为概率值，分布在【0，1】区间，最终通过设定一个阈值，把连续型数值转变为离散型变量，从而实现分类。

评分卡模型（逻辑回归）评分卡模型的核心是逻辑回归。逻辑回归是一种广泛应用于分类问题的统计方法，特别是在二分类问题中表现出色。在风控领域，逻辑回归被用来预测借款人是否会违约（即正例和负例）。

在风控等实际应用场景中，通常希望模型的预测结果能够与业务理解保持一致。例如，如果定义 WOE 是好比坏（即正样本比负样本更“好”，负样本比正样本更“坏”），那么逻辑回归模型的回归系数应该为负，以确保风险趋势与业务理解一致。

逻辑回归：逻辑回归是一种用于二分类问题的统计方法，通过sigmoid函数将线性回归的输出映射到概率值。在风控中，逻辑回归可用于预测客户违约的概率，其计算效率高且易于实现。神经网络及其衍生模型：神经网络通过模拟人脑神经元的工作方式，能够处理复杂的非线性关系。

【计算机-就业】普通大学毕业如何逆袭收割大厂offer?如何从小白入门发顶...

1、论文发表策略：通过逆序学习法（先读综述论文，再精读顶会论文，最后复现代码）快速入门，结合头脑风暴与跨领域阅读，提升论文高产能力。校招准备：针对性突破 算法岗：刷透LeetCode剑指offer和Hot 100，复现顶会论文代码，准备研究方向的深度讲解。

2、从一个财务管理专业毕业的二本学生，通过系统学习和努力，成功从淘宝运营、贷款行业转行至软件测试领域，并在短时间内斩获5个测试offer，最高薪资达1万元。

3、选择优质学习资源书籍推荐：入门阶段：选择简短、图文并茂的书籍建立知识框架，如《程序是怎样跑起来的》（计算机组成原理）、《大话数据结构》（数据结构入门）。进阶阶段：系统学习经典教材，如《计算机网络的自顶向下方法》（谢希仁版中规中矩，适合教材辅助）、《算法导论》（需一定基础后阅读）。

4、一般情况下，很多参加毕业的优秀的学长学姐都会作为典范被老师提起，所以多多和学工办、就业办的老师多交流，要到一些学长学姐的联系方式，已请教问题，多和他们交流，也会有很多收获。 第三点：混迹在各样的招聘会、双选会现场。

5、丰富简历：根据《2020年大学生就业力报告》调查显示，毕业生获得offer的主要原因中，实习经历和实践经验丰富分别排在第一位和第三位，可见用人单位是多么的注重你的实习。

6、我们也注意到，有的企业虽然是名企是大厂，是那种985才有资格够一够的offer，但最终也有普本的同学成功入职。其根本原因是：所有的企业招聘员工，其实并不是说一定要招一个最优秀的人，企业招聘的人员一定是一个匹配的人，就是我们通常所说的人岗匹配。

机器学习中的交叉熵

机器学习中的交叉熵 交叉熵（Cross entropy）是机器学习中一个重要的概念，尤其在分类问题中作为损失函数被广泛使用。下面将详细解释交叉熵的定义、性质及其在机器学习中的应用。交叉熵的定义 交叉熵衡量的是两个概率分布之间的差异。

交叉熵是机器学习中，特别是在分类问题中，用于量化两个概率分布之间差异的一种损失函数。为了深入理解交叉熵，我们需要从对数函数、信息量、熵以及相对熵（KL散度）等概念逐步展开。 对数函数 在机器学习和数学中，我们经常会用到“自然对数函数”，即以e（约等于71828）为底的对数函数。

交叉熵 交叉熵（Cross Entropy）是用于度量两个概率分布之间差异的一种指标，在机器学习和深度学习中，经常用作分类问题的损失函数。

GBDT算法

1、GBDT的代码实现可以参考GitHub上的开源项目，例如NLP-LOVE/ML-NLP。该项目提供了GBDT等机器学习算法的详细实现和案例。

2、综上所述，GBDT算法是一种高效且强大的集成学习方法，它通过构建多棵决策树并逐步逼近真实值来提高预测精度。在实际应用中，我们需要根据具体问题和数据集的特点来选择合适的参数和模型优化方法，以达到最佳的预测效果。

3、综上所述，GBDT算法通过不断迭代地拟合前一轮模型损失函数的负梯度来构建一系列基学习器，并以加法模型的形式组合这些基学习器，从而形成一个强学习器。其性能优异且应用广泛，在分类、回归等任务中均表现出色。

梯度下降的步长是什么?

1、梯度下降的步长（也称学习率，Learning Rate）是优化算法中控制参数更新幅度的关键超参数。它决定了每次迭代中模型参数沿梯度反方向调整的“步伐大小”。

2、梯度下降的步长（也称为学习率）是指在每一次迭代中，算法沿着梯度反方向调整参数时的移动距离。它是梯度下降算法中的一个关键超参数，直接影响模型的收敛速度和最终性能。具体说明：定义与作用步长决定了参数更新的幅度。

3、梯度下降法的搜索方向顾名思义就是梯度方向，也就是当前点所在地形最陡峭的下降方向（你这个图里面只有左右两个方向）。

4、批量梯度下降（BGD）：计算所有样本的梯度平均值作为步长，公式为：g = （1/m） Σ （hθ（x？） - y？）x？优点：步长稳定，收敛方向准确。缺点：计算量大，尤其样本量多时。随机梯度下降（SGD）：每次随机选择一个样本计算梯度，公式为：g = （hθ（x？） - y？）x？优点：计算快，适合大规模数据。

5、步长选择：在梯度下降法中，步长（学习率）通常是一个固定的值或者通过某种策略进行调整。而在最速下降法中，步长是通过求解一个一元二次方程得到的最优值。收敛速度：对于正定二次函数来说，最速下降法的收敛速度通常比梯度下降法更快，因为它在每一步迭代中都选择了最优的步长。

6、其中，θ表示模型参数，L表示损失函数，α是学习率（步长），L表示损失函数关于参数的梯度。牛顿法牛顿法是一种二阶优化算法。它通过计算损失函数关于模型参数的二阶导数（即海森矩阵），并利用该矩阵来更新参数值。