我们提出了一种基于深度神经网络的最小距离估计器 (DNN-LD)，用于解决多元回归问题，并考虑高维数据中的变量选择问题，通过在 DNN 结构的权重参数上应用 (自适应) 分组 Lasso 惩罚，同时实现变量选择和模型估计。

Jan, 2024

在机器学习领域，传统的正则化方法通常直接将正则化项添加到损失函数中。本文引入了 “Lai 损失”，一种新颖的损失设计，通过直观的几何思想将正则化项（梯度分量）整合到传统的损失函数中。这种设计通过损失函数有效地惩罚梯度向量，有效控制模型的平滑度，同时减少过拟合和避免欠拟合。随后，我们提出了一种随机抽样的方法，成功地解决了在大样本条件下应用该方法所面临的挑战。我们使用 Kaggle 上公开可用的数据集进行了初步实验，证明 Lai 损失的设计可以在确保最大准确性的同时控制模型的平滑度。

May, 2024

在多个学科领域中发现，将目标转换为软目标可提高性能，本研究考察了分布式回归损失（distributional regression loss）在学习分布时的表现，并发现它在改善预测准确率方面显著提高，我们提供了理论支持，表明此损失由于其更好的梯度表现，易于优化导致了这种改进。

Jun, 2018

本研究探讨了线性回归中带有 L2 正则化的问题，每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数，通过计算交叉验证准则相对于正则化超参数的梯度，使用矩阵微分学进行解析计算。此外，我们引入了两种针对稀疏模型学习问题的策略，旨在减少过度拟合验证数据的风险。数值示例表明，我们的多超参数正则化方法胜过 LASSO、Ridge 和 Elastic Net 回归。此外，与自动微分相比，梯度的解析计算在计算时间方面更加高效，特别是在处理大量输入变量时。还介绍了应用于过参数化线性参数变化模型的情况。

Nov, 2023

本文介绍了一种新的基于 Learning Loss 框架的改进学习算法 LearningLoss++，通过对梯度的精确分析和对多尺度特征的结合实现了对数据的更好利用，提升了在人体姿势估计任务中的性能表现。

Apr, 2021

研究采用随机梯度下降法训练的神经网络，通过对每一次迭代的训练标签进行独立噪声扰动，得到一个隐式正则化项，从而驱动网络向简单模型发展，并以矩阵感知、一维数据下的两层 ReLU 网络训练以及单数据点下的两层 sigmoid 激活网络训练等三个简单场景进行了阐述。

Apr, 2019

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

Sep, 2022

本文提出了一种直接损失最小化的方法来训练深度神经网络，特别适用于应用特定的指标，包括提出了新的动态规划算法来高效计算权重更新，最终在行动分类和目标检测方面表现优秀，特别是在存在标签噪声的情况下。

Nov, 2015

本论文研究了机器学习中隐含的偏差及其对应的正则化解，并且根据理论证明我们使用的指数型损失函数的正则化效果，可达到最大保边缘的方向，相应的其他损失函数可能会导致收敛于边缘较差的方向。

Jun, 2020

本文提出了一种基于 MMD 核的 GAN 模型正则化的梯度的原则性方法，证明控制批评者的梯度对于有意义的损失函数至关重要，并设计了一种方法来实施精确、分析梯度约束，使得新的损失函数具有连续性，并证明实验表明它可以稳定和加速训练，为 160 x 160 的 CelebA 数据集和 64 x 64 的无条件 ImageNet 数据集上的图像生成模型提供了优于现有方法的性能。

May, 2018