- 显式利普希茨值估计增强策略对扰动的稳健性
在机器人控制任务中,强化学习(RL)在模拟中训练的策略在部署到物理硬件上时常常出现性能下降的问题,本文研究了通过利普希茨正则化来改善近似值函数的梯度条件,从而提高训练后的鲁棒性。通过将利普希茨正则化与快速梯度符号方法相结合,我们的实验结果表 - 通过学习相关潜空间推进贝叶斯优化
通过引入 Lipschitz 正则化和损失加权等方法,我们提出了一种相关的潜空间贝叶斯优化(CoBO)方法,用于优化黑盒函数中的离散数据。在分子设计和算术表达式拟合等离散数据的多个优化任务中,我们的方法在较小的资源预算下取得了高性能。
- 通过 Lipschitz 正则化和自动权重平均探索高效快速的对抗训练的重访
该研究论文通过使用快速对抗训练技术(Fast Adversarial Training,简称 FAT)来提高模型的鲁棒性并减少标准对抗训练的训练成本,然而快速对抗训练经常受到灾难性过拟合(Catastrophic Overfitting,简 - PATROL: 面向隐私的剪枝策略,抵御模型反推攻击的协同推理
PATROL 是一种可行的解决方案,它通过引入两个关键组件:Lipschitz 正则化和对抗重构训练,以实现面向隐私的修剪,从而在保护隐私的同时提高推断模型的稳定性和准确性。
- 通过 Lipschitz 正则化减轻 Transformer 模型过度自信
本文提出了一种基于 Lipschitz 正则化的新型 Transformer 模型,将巴拿赫空间距离应用于相似度函数中,进而提高预测精度、校准和不确定性估计效果。
- AAAI利用隐藏变量从不规则时间序列观测中估计治疗效果
本文介绍了一种基于 Lipschitz regularization 和神经控制微分方程(CDE)的方法,名为 LipCDE,用于解决时序数据的因果分析问题,该方法能够准确估算个体化的治疗效果和克服隐藏混淆变量导致的治疗估计偏差和高方差情况 - AAAI标签平滑的礼物:通过辅助分类器和标签噪声实现自适应标签平滑的强健训练
该论文提出了一种名为 ALASCA 的方法,该方法通过自适应标签平滑和辅助分类器的结合,提供了一种高效的抵抗标签噪声的健壮特征提取器,从而解决了深度学习中存在的关于噪声标签问题的挑战。
- SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏
提出一种基于学生的教师网络训练框架 SoTeacher,通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法,实验证明该方法适用于几乎所有的教师 - 学生架构对,并且可以显著、一致地提高学生的性能。
- 通过 Lipschitz 正则化学习平滑神经函数
本文介绍了用于神经隐式场的 Lipschitz 正则项,以促进其对良好变形处理的优化,并在 3D 形状插值、外推以及部分重构相关应用中与现有技术和基准模型相比取得更优的量化和定性结果。
- 对抗性扰动欺骗深度伪造检测器
本研究使用对抗扰动来增强 Deepfake 图像,欺骗普通 Deepfake 检测器。我们使用 Fast Gradient Sign Method 和 Carlini 和 Wagner L2 范数攻击在黑盒和白盒设置中创建对抗性扰动。我们还 - ICLR对抗性利普希茨正则化
本研究提出了一种名为 Adversarial Lipschitz Regularization 的方法,其可行地利用了显式的 Lipschitz 惩罚,并在训练 Wasserstein GANs 时表现出与隐式惩罚相同的性能表现,凸显了 L - 对抗性鲁棒性和显著性图解释性之间的联系
本文研究神经网络的对抗漏洞,证明模型对抗攻击的鲁棒性与显著图的对齐程度正相关,使用局部 Lipschitz 正则化训练模型进行实验并分析神经网络的非线性特性对此关系的影响。
- ECCVLipschitz 正则化如何影响 GAN 训练?
本文研究 Lipschitz 正则化在 GAN 训练中的作用,发现其通过限制损失函数的定义域和可达到梯度值的区间,使得损失函数近似线性化,并且证明了只有这种近似于线性的损失函数才能达到良好的效果。除此之外,文章也证明了只要通过正则化让任何函 - 使用 Lipschitz 正则化损失提高对抗样本的鲁棒性
本文提出了一种在 CIFAR-10 数据集上,使用最坏情况对抗训练(WCAT)提高 11% 的对抗鲁棒性。基于损失函数梯度范数的期望值和最大值,我们获得了可验证的平均情况和最坏情况的鲁棒性保证。我们将对抗训练解释为总变分正则化,这是数学图像 - 利普希茨正则化深度神经网络的泛化性能和防御对抗攻击能力
本文研究了深度神经网络的输入梯度正则化,并证明了这种正则化可以导致泛化证明和改进的对抗性稳健性。通过将对抗训练与 Lipschitz 正则化相结合,可以使模型更加稳健,并且可以使用图像的梯度范数进行攻击检测。