Apr, 2024

对抗训练中出现的平均曲率流

PDF
TL;DR通过将对抗性训练与决策边界的几何演化方程相联系，我们通过将对抗性训练重新解释为一种正则化问题，引入了一种改进的训练方案，构成了一种非局部周长函数的最小化移动方案，证明了当对抗预算消失且周长局部化时，该方案是单调和一致的，并且由此严格证明了该方案近似于加权平均曲率流，强调了对抗性训练的有效性可能是由于局部最小化决策边界的长度。在我们的分析中，我们引入了一系列用于处理极值型非局部总变差及其正则性属性的工具。
发现论文，激发创造
  • 曲率正则化带来的鲁棒性及其相反情况

    本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。

    Nov, 2018

  • 对抗性流：对抗攻击的梯度流表征

    我们将所谓的快速梯度符号方法及其迭代变体解释为微分包含的明确欧拉离散化方法，并证明了该离散化与相关梯度流的收敛性。我们考虑最大斜率的 p - 曲线的概念，证明了最大斜率的无穷曲线的存在，并通过微分包含导出了另一种特征描述。此外，我们还研究了势能的 Wasserstein 梯度流，证明了 Wasserstein 空间中的曲线可以由基本 Banach 空间中的曲线空间上的表示测度描述，并满足微分包含。我们将我们的理论应用于有限维场景，并展示了两个方面的结果：一方面，我们证明了一整类归一化梯度下降方法（尤其是符号梯度下降）在步长趋于零时，可以收敛到相应的流；另一方面，在分布设置中，我们证明了对抗训练目标的内部优化任务可以通过适当的最优输运空间上的最大斜率无穷曲线来描述。

    Jun, 2024

  • 深度学习中的方向收敛和对齐

    本文证明了通过梯度流学习方法得到的深层同质网络权重会趋向于收敛，并阐述了相应的研究内容，包括但不限于梯度流、分类损失、边缘最大化、显著图等方面。

    Jun, 2020

  • 对抗训练的高维模型：几何与权衡

    在高维度背景下，研究基于边界的线性分类器中的对抗性训练，提出了一个可以研究数据和对手几何结构相互作用的可行数学模型，精确描述了足够统计量的敌对经验风险最小化，揭示了存在可以在不损失准确性的情况下进行防御的方向，并且证明了防御非鲁棒特征在训练中的优势，作为一种有效的防御机制。

    Feb, 2024

  • 战略性非局部分布漂移的耦合梯度流

    本文提出了一种新的框架，用于分析实际系统中分布转移的动态，该框架捕捉算法学习和它们所部署的分布之间的反馈循环，并针对两种常见的机器学习情景，通过偏微分方程模型证明了再训练过程的渐近收敛性，同时通过实证研究表明，该方法能够很好地捕捉自然数据中的分布变化。

    Jul, 2023

  • 有限图上的平均曲率、阈值动力学和相场理论

    介绍了图过程在连续过程的基础上的相关内容，提出了组成图曲率的图割函数以及图 Laplacian 等概念，分析了 MBO 动力学和 AC 演化的情况，并证明了图 MBO 方案会收敛到一个平稳状态。

    Jun, 2013

  • 神经网络逼近理想对抗攻击及对抗训练的收敛性研究

    将对抗性攻击表示为可训练函数，使用神经网络模拟理想攻击过程，并降低对抗训练为攻击网络和防御网络之间的数学博弈，同时在此设置中获得了对抗性训练的收敛速率。

    Jul, 2023

  • 当对抗性攻击变成可解释性因果解释

    本研究采用 1-Lipschitz 神经网络学习最佳传输问题的双重损失，研究发现，模型的梯度既是传输计划的方向，也是最接近的对抗攻击方向。通过在此类网络上应用简单的显著性图方法，我们得出结论：这种方法成为了可靠的解释方法，并在无限制模型上表现优于现有技术。我们提出的网络已被证明具有认证的鲁棒性，并证明了它们也可以用一种快速简单的方法进行解释。

    Jun, 2022

  • 利普希茨界和拉普拉斯平滑法可证明的鲁棒训练

    本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型，并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题，设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明，在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。

    Jun, 2020

  • 对抗样本的几何性质

    该研究提出了一种基于几何框架和流形重建方法的方法，以分析对抗样本的高维几何形状，并证明了不同规范的鲁棒性、球形对抗性训练的样本编号和最近邻分类器与基于球面的对抗训练的充分采样条件。

    Nov, 2018