May, 2024

Lai Loss：一种融合正则化的新型损失函数

PDF
TL;DR在机器学习领域，传统的正则化方法通常直接将正则化项添加到损失函数中。本文引入了 “Lai 损失”，一种新颖的损失设计，通过直观的几何思想将正则化项（梯度分量）整合到传统的损失函数中。这种设计通过损失函数有效地惩罚梯度向量，有效控制模型的平滑度，同时减少过拟合和避免欠拟合。随后，我们提出了一种随机抽样的方法，成功地解决了在大样本条件下应用该方法所面临的挑战。我们使用 Kaggle 上公开可用的数据集进行了初步实验，证明 Lai 损失的设计可以在确保最大准确性的同时控制模型的平滑度。
发现论文，激发创造
  • 回归主动学习中学习损失的数学分析

    本文介绍了一种新的基于 Learning Loss 框架的改进学习算法 LearningLoss++，通过对梯度的精确分析和对多尺度特征的结合实现了对数据的更好利用，提升了在人体姿势估计任务中的性能表现。

    Apr, 2021

  • 关于对抗训练的泛化性质

    本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

    Aug, 2020

  • 基于导数的回归正则化

    我们介绍了一种新颖的正则化方法，称为 DLoss，在多变量回归问题中。我们的目标是通过惩罚模型的导数与从训练数据估计得出的数据生成函数的导数之间的差异，将模型与数据对齐，不仅在目标值方面，还包括相关的导数。实验证明，在使用 DLoss（使用最近邻选择）时，我们平均获得与验证数据集中的均方误差最佳排名，相比于无正则化、L2 正则化和 Dropout。

    May, 2024

  • 学习代理损失

    本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。

    May, 2019

  • 基于正则化的持续学习的优化和泛化：一种损失逼近的视角

    本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

    Jun, 2020

  • 透过损失函数几何理解对抗鲁棒性

    本研究探索了使用对抗训练数据增强作为显式正则化技术的后果，发现这种经常使用的对抗增强技术实际上并没有导致更平的损失平面，需要重新思考对抗训练泛化以及泛化和损失平面几何之间的关系。

    Jul, 2019

  • 神经网络训练中的损失变化分配

    提出一种名为 LCA 的新视窗，通过使用 Runge-Kutta 积分器沿训练轨迹分解近似路径积分的组成部分，将网络损失变化的信用保守地分配给参数，从而显示哪些参数在训练过程中负责减少或增加损失，或者哪些参数在网络学习中 “有益” 或 “有害”。该新的测量设备对训练产生了几个不同见解。

    Sep, 2019

  • 损失地形的曲率研究

    通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

    Jul, 2023

  • RelaxLoss：在不损失效用的情况下防御成员推断攻击

    通过提出一种基于松弛损失的新型训练框架，RelaxLoss，使得机器学习模型对隐私成了更加稳健，提高了鲁棒性和模型效用。

    Jul, 2022

  • 基于标签感知的有界 CVaR 的鲁棒长尾学习

    本文提出了两种基于 CVaR（条件风险值）的方法来改善长尾学习问题，在理论上提供了坚实的支持，通过实验证实了所提出方法的优越性。

    Aug, 2023