- ICML梯度正则化何时会有害？
本文揭示了梯度正则化（GR）在自适应优化场景中可能导致性能下降的问题，并提出了三种 GR 热身策略来解决这些问题，实验证实这三种策略能够大幅提高模型性能。
- 深度神经网络用于选择分析：通过梯度规范化增强行为规律性
该研究提出了强行为规律和弱行为规律作为评估个体需求函数单调性的新指标，并设计了带有六个梯度正则化器的约束优化框架，以提高深度神经网络的行为规律性。研究结果表明，相比于具有较强行为基础的模型如多项逻辑回归，传统深度神经网络无法保证行为规律性， - 软升软降中的隐式正则化
通过提出一种更加鲁棒的程序 SoftAD，该程序通过减少边界点和限制异常值的影响，保留升降效果，实现与 SAM 和 Flooding 竞争性分类准确度，同时保持更小的损失泛化差距和模型规范化。
- 梯度正则化牛顿法最小化准自协调函数
研究了带有准自共轭平滑成分的复合凸优化问题，通过使用基本的牛顿法结合梯度正则化，提出了一种简单而高效的算法，并应用于多个实际问题，包括逻辑回归、软最大和矩阵缩放，无需对目标函数进行额外的假设，并且获得了快速全局线性收敛率。
- 通过元梯度增强改善元学习的泛化能力
本文从梯度规范化的角度出发，提出了一种数据无关的元梯度增强 (MGAug) 方法，通过网络修剪来打破背诵性记忆，并探讨了三种修剪策略，实验表明该方法在多个 few-shot 学习基准测试中显著提高了性能
- 通过卷积核的权重分布重新考虑准确性和鲁棒性的权衡
研究表明对抗攻击是深度神经网络的潜在威胁，本文提出了一种动态网络架构 AW-Net，通过梯度规范化、分化处理和根据输入样本调整网络权重的方法，实现了同时提高准确性和鲁棒性的性能。
- 数据内插值 —— 高阶梯度正则化 GAN 中的判别器
该论文提出了一种使用多项式调和径向基函数来优化生成对抗网络中鉴别器的方法，进而对数据的潜在空间分布进行建模，并证明在实验验证中，这种方法显着优于传统的鉴别器架构。
- 异构图神经网络梯度正则化的统一方法
本研究提出了一种名为 Grug 的新型梯度正则化方法，它可以在消息传递过程中对传播消息和节点特征生成的梯度都进行迭代正则化。Grug 提供了一个统一框架，可以集成图拓扑和节点特征，并基于此进行详细的理论分析它们的有效性。
- FedFOR: 无状态异构联邦学习与一阶正则化
本文提出了一种基于分布式学习的新型算法，能够针对数据异质性问题，有效避免因数据分布不同而导致的本地数据更新差异性，提高模型的全局收敛性和学习效率。与现有算法不同，该算法不需要维护全局状态，适用于任意数量的客户端，能够用于网络边缘设备和移动应 - ICCV通过潜在对抗扰动实现可靠的快速对抗训练
本研究提出了一种基于潜在对抗扰动的单步对抗性训练方法，通过梯度正则化来确保性能稳定，并且与现有的基于输入空间的对抗性训练方法相比，具有更高的计算效率和更好的表现。
- AAAI渐变正则化对比学习，用于连续领域适应
本研究旨在解决深度神经网络在动态环境下机器学习算法中的持续领域适应问题。为此，我们提出了 Gradient Regularized Contrastive Learning (GRCL) 并在 Digits、DomainNet 和 Offi - 渐变正则化对比学习用于连续领域适应
研究 AI 模型在连续领域适应中所遇到的领域转换和灾难性遗忘等问题，并提出了基于 Gradient Regularized Contrastive Learning 的方法来解决这些问题，实验结果表明该方法在 Digits, DomainN - 使用正交梯度对深度多任务网络进行规范化
本文提出了一种新的梯度正则化方法，旨在通过强制近似正交梯度来减少任务干扰，评估结果表明该方法在多任务学习中取得了竞争性结果。
- 用于对抗性鲁棒性的可扩展输入梯度正则化
本文旨在探讨一种对抗性对抗性鲁棒性的梯度正则化方法，其中使用局部梯度信息得出新颖的理论鲁棒性边界，并利用可扩展的输入梯度正则化来训练出具有鲁棒性的 ImageNet 模型，同时实验证明输入梯度正则化与对抗性训练具有相似的训练效果。
- 梯度规范化提高了判别模型的准确性
本文发现梯度正规化可以在视觉任务中显著提高分类精度，特别是在训练数据较少的情况下。我们介绍了一种 Jacobian-based 的正规化方法，并在真实和合成数据上进行了实证研究，结果表明学习过程可以控制超出训练点的梯度，并产生良好的泛化能力 - 对抗样本的统一梯度正则化方法族
本文提出了一种统一框架来构建抵御对抗样本的强大机器学习模型，并通过梯度正则化方法有效地对代价函数的梯度进行惩罚，从而达到鲁棒性的目的。实验证明，该方法在两个基准数据集上达到了最佳精度。