- 通过提示梯度对齐增强领域自适应
在无监督领域自适应中，通过基于提示学习的方法，使用大规模预训练的视觉 - 语言模型来学习领域不变和领域特定的特征，并将领域无关的约束转化为优化问题，通过梯度对齐和梯度范数惩罚来实现不同领域的一致性，从而在单源和多源无监督领域自适应任务中取得 - CVPR元规范化的提示学习
通过 Prompt Meta-Regularization (ProMetaR) 方法，可以提高视觉语言模型中 prompt 学习的泛化能力，并可以从梯度对齐的角度解释这种改进。
- ICCV理解 Hessian 对齐用于领域普适性
通过分析深度学习模型在领域普适性中属分类器头部 Hessian 矩阵和梯度的角色，我们提出了两种简单而有效的方法来匹配分类器头部 Hessians 和梯度，并验证了所提方法在不同场景下的普适性能力。
- 用于神经网络训练的随机反馈对齐算法：为什么能对齐？
本文研究反馈对准算法的梯度对准机制（gradient alignment），使用数学推理和模拟证明了梯度对准是该算法固定点的稳定性准则，但高度的梯度对准却不一定会导致良好的算法性能。
- 预训练语言模型的梯度知识蒸馏
本文提出了一种新的知识蒸馏方法（GKD），通过引入梯度对齐这一重要的知识源，以提高预训练语言模型的学生模型的性能和可解释性。实验结果表明，使用 GKD 比先前的知识蒸馏方法效果更好。
- 噪声增强的快速对抗训练：RandStart 和 GradAlign 的统一视角
文章提出了一个基于噪声增强（NoiseAug）的简单而有效的快速对抗训练方法，相较于现有的随机起点和梯度对齐策略，该方法避免了灾难性过拟合，能够在大扰动条件下提高模型的可靠性和鲁棒性。
- 行动 66 号：面向强化学习的有针对性数据毒化
该研究提出了一种针对强化学习的隐匿性数据污染攻击，使用最新的梯度对齐技术，仅对少量的训练数据进行最小限度的修改，而不需要对策略或奖励进行任何控制，目的在于仅在特定目标状态下导致智能体总体表现不佳，在两个难度不同的 Atari 游戏中进行了实 - ICLRSequential Reptile: 多语言学习的任务内梯度对齐
本文提出了一种用于多语言模型的有效梯度对齐方法，以最大程度地提高知识转移并减少负面影响；在各种多任务学习和零 - shot 跨语言转移任务中得到了广泛验证并取得了优异成果。
- AAAI分布式和联邦学习中的隐式梯度对齐
本文提出了一个名为 GradAlign 的优化方法，该方法可通过数据异构性的隐式正则化来改善分布式学习中客户端梯度不对齐的问题，从而提升测试精度，并在不同的分布式和联邦学习设置中进行了实验验证。
- 快速对抗训练的理解与改进
研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。
- 适用于训练递归神经网络的在线学习算法统一框架
提出了一个关于递归神经网络在线训练的紧凑结构，其中根据多个标准对算法进行组织：过去与未来朝向，张量结构，随机与确定性，以及闭合形式与数值。测试在两个合成任务上的表现表明，表现根据标准聚集。