- ICML图对抗扩散卷积
本文介绍了一个图信号去噪问题的极小极大优化方法,通过引入以拉普拉斯距离为基础的图结构扰动来最大化图信号去噪中的第二项,并最小化整体损失,从而得到了图扩散卷积的新变种,称为图对抗性扩散卷积。不同于图扩散卷积,图对抗性扩散卷积还融合了一项额外的 - 自由对抗性训练中的稳定性和泛化能力
通过算法稳定性框架研究了对抗性训练方法的泛化性能,发现自由对抗性训练方法具有较低的训练和测试样本之间的泛化差距,并且具有更好的鲁棒性对抗黑盒攻击。
- 对抗性协同过滤免费
在这篇论文中,我们提出了一种名为 SharpCF 的简单而有效的方法,该方法在基本优化器上进行敌对训练的同时并不增加额外的计算成本。通过分析发现,敌对训练实际上是寻求模型参数位于最优模型参数周围,具有统一低损失值的领域,从而实现更好的普适性 - 延迟下的极小极大优化
本文旨在研究标准最小 - 最大优化算法的性能,特别是在出现延迟梯度更新时。研究结果表明,在合适的技术假设下,梯度下降 - 上升和延迟更新的额外梯度算法仍然保证收敛到凸 - 凹和强凸 - 强凹的鞍点。
- 随机梯度下降 - 上升:统一理论和新高效方法
本文提出了 SGDA 的统一收敛性分析框架,覆盖了各种随机梯度下降上升方法,并分别提出了多种新变体方法,通过大量数值实验证明了这些方法的重要性质。
- MM测度上极小最大值均衡的同时传输演化
本文利用熵正则化方法,通过针对概率测度空间上的混合平衡点问题,采用对称梯度升降法求解 Wasserstein 距离来解决最小化最大问题,并取得全局收敛性。同时,提出 Wasserstein 几何下的凸凹可用于解决相关熵正则化的损失函数。
- 非凸强凹 Min-Max 优化的复杂度下界
我们通过使用第一阶 oracle 及条件数,提供了寻找 min-max 优化问题中目标函数在最小化变量上是非凸及在最大化变量上是强凸时的稳定点的复杂度的下界,这既适用于确定性 oracle 也适用于随机 oracle,并提供了各自的下界,并 - 结构化非凸 - 非凹二次规划的高效优化方法
通过提出一种新的结构化非凸 - 非凹 min-max 优化问题类,引入了一个泛化的外推方法,该方法证明收敛到一个稳定点。这种算法不仅适用于欧几里得空间,还适用于一般的 l p-norm 有限维实向量空间,同时对其在随机 oracle 条件下 - 有约束极小极大优化的复杂性
本文通过分析优化问题的计算复杂性,阐明了一系列非凸非凹目标函数的约束极值优化问题存在的困难,同时证明了该问题在 Nemirovsky-Yudin 模型中的难度,这与最小化问题在同样设置下可以使用 Projected Gradient Des - ICML一种收敛且与维度无关的极小 - 极大优化算法
研究了一种新型的 min-max 优化框架,其中 max-player 在贪心策略下更新参数至一阶稳定点;给出了在平稳性要求下的定理证明,提出了一种利用随机梯度估计的 GAN 训练算法,成功地避免了模式崩溃的问题。
- 极值优化算法的局限性:收敛于虚假非关键集合
本文研究了最小 - 最大优化算法在非凸 /non-concave 问题中的表现,发现其极限点包含在共同的平均场系统的 ICT 集合中,其吸引子与算法相关,但存在不包含问题静止点的虚假吸引子,这可能导致算法收敛失败。
- 深度主动学习:查询和训练的统一原则方法
提出了一种基于 Wasserstein 距离的深度批量主动学习的统一且原则性的方法,其中包括通过替代优化来优化深度神经网络参数和批处理查询选择的理论分析,以及指示查询批处理选择中明确的不确定性 - 多样性权衡的原则,最终在不同的基准测试中评 - 通过最小值最大化优化实现的敌对攻击生成
本文利用多域最小最大优化的一般性框架,推进了不同类型的对抗性攻击设计,并展示了该统一框架在攻击目标函数,抵御多输入下的统一扰动,生成攻击和数据变换下的对抗攻击等方面的优异性能和整体性工具的作用。