- ICLR基于组合优化的大规模分布式鲁棒模型学习
本文提出通过有限和复合优化来提供可扩展的机器学习算法,用于训练鲁棒性强的模型,并展示本算法在超大数据集上学习鲁棒模型的有效性。
- ICLR通过测地线下降实现分布鲁棒公平主成分
本文提出一种在主成分分析中内在于目标函数中的公正准则的分布式稳健优化问题,通过采用超越最小二乘意义的子群重构误差之间的重构误差差异,平衡了总体重建误差和子群之间的重建误差差异,以及实验证明该方法较其他现有方法有明显优势。
- AAAI最大 - 最小分组赌博机
介绍了一种多臂赌博机问题,称为最大最小分组赌博机问题,其中将赌臂分组,并旨在找到最差赌臂平均回报最高的组;提出两种基于连续淘汰和鲁棒优化的算法,并导出保证找到最优或接近最优组的样本数的上界,以及一个独立于算法的下界。探讨了各种相关情况下上下 - ICLR基于 Wasserstein 分布鲁棒优化的类别条件域泛化
本文介绍一种基于分布鲁棒优化的分类器,在 Wasserstein 球内最优化条件分布的最坏情况下,增强条件分布领域泛化的鲁棒性,并利用迭代算法自动学习 Wasserstein 球半径,实验表明该方法比传统领域泛化方法在未知目标领域中表现更好 - 鲁棒优化的共形不确定集
通过将符合预测区域与鲁棒优化联系起来,提供了有限样本有效且保守的椭圆形不确定性集,称为符合不确定性集。
- Amata:一种用于对抗训练加速的退火机制
本文提出了 Amata 机制,它是一种基于最优控制理论的鲁棒优化方法,可用于降低对抗训练的计算成本。在标准数据集上,Amata 可以在较短的计算时间内实现相似或更好的鲁棒性。同时,Amata 还可以和其他加速算法(如 YOPO,Free,F - 深度学习中对抗鲁棒性的机遇与挑战:综述
本篇研究通过分类对抗性攻击和防御方法,提出三类半定界数理优化问题,即对抗 (再) 训练、正则化方法和认证防御,并调查了最近的研究成果和挑战以及展望未来的发展。
- SOAR: 二阶对抗正则化
本文提出了一种新颖的正则化方法 SOAR,它是基于强健优化架构中内向最大值的 Taylor 近似推导的上界,实验证明其在对抗样本的生成和鲁棒性上能够显著提高深度神经网络的性能。
- 利用风险外推 (REx) 实现对于分布外数据的泛化
采用风险外推法的鲁棒优化可以在训练域和测试域之间进行平衡,从而提高模型对于分布漂移的抵抗能力,并且可以恢复目标的因果机制,同时还能提供对于输入分布变化具有一定鲁棒性的能力。
- 具有噪声保护组的公平鲁棒优化
研究机器学习的公平性标准,提出一种使用鲁棒优化的新方法来处理受保护群体的嘈杂标签问题,并经实验验证,该方法能更好地保证在真实受保护群体上的公平性标准。
- 高效鲁棒贝叶斯优化的噪声输入熵搜索
该论文提出了一种名为 Noisy-Input Entropy Search 的信息理论采集函数,该函数基于将鲁棒性目标视为高斯过程的关键洞察,通过考虑输入和测量噪声来解决由于输入参数不确定性带来的问题,在基准测试问题和工程问题中展示了较高的 - 神经网络对抗鲁棒性的有用分类法
深度学习领域的对抗攻击和防御是目前研究的活跃领域。本文针对防御方法进行分类,提出了不同的分类方法:通过增加特征向量的类内紧凑性和类间分隔性来提高对抗鲁棒性,减小或移除非鲁棒图像特征来提高对抗鲁棒性。通过这种重新构架话题的方式,提供了新的视角 - ROMark: 使用对抗训练的强韧数字水印系统
本文提出利用对抗式机器学习中的稳健优化算法来提高基于卷积神经网络的数字水印框架的鲁棒性,在 COCO 数据集上的实验证明,稳健优化可以显著提高数字水印框架的鲁棒性。
- ICML无梯度的极小极大优化:收敛性和在对抗机器学习中的应用
本文研究了黑盒环境下有约束的鲁棒(最小 - 最大)优化问题,并采用了零阶梯度估计器与交替投影随机梯度下降 - 上升方法的优化框架,称为 ZO-Min-Max,旨在探索在对抗机器学习中的黑盒最小 - 最大优化与黑盒逃避和污染攻击之间的可能联系 - 分布鲁棒优化:一篇综述
本文概述了分布鲁棒优化(DRO)的主要概念和贡献,以及它与鲁棒优化、风险规避、机会约束优化和函数正则化的关系。
- 过参数化神经网络中对抗训练的收敛
本文研究神经网络的鲁棒性问题,通过对抗训练的方法提高神经网络对抗扰动的鲁棒性。研究表明,通过对抗训练,网络可以收敛到一个鲁棒的分类器,传统的交叉熵损失函数不适用于训练鲁棒的分类器,也因此需要引入代理损失,并证明鲁棒插值需要更大的模型容量。
- 对抗稳健性作为学习表示的先验
本研究表明,鲁棒优化可以被重新定义为对深度神经网络学习特征的先验约束,经过鲁棒模型学习的特征表示方法能够解决标准神经网络表示方法的缺陷,并显著提高了高水平的输入编码能力。同时,这些特征表示方法具有相对可逆性,允许直接可视化和操纵输入的显著特 - 鲁棒归因正则化
通过公理归因神经网络的视角,我们提出了经典鲁棒优化模型的训练目标,旨在实现鲁棒的集成梯度归因。实验结果表明了我们方法的有效性,并表明需要更好的优化技术或更好的神经网络架构来进行鲁棒的归因训练。
- 鲁棒性和结构性优化算法:一种积分二次约束方法
该研究考虑一类具有强凸目标函数和 Lipschitz 连续梯度的无约束优化问题的梯度优化算法的分析和设计,通过将问题制定为鲁棒性分析问题并利用适当的积分二次约束理论进行设计,以提高现有算法的收敛速度和鲁棒性能力,并能够利用目标函数中的附加结 - ICCV对抗鲁棒性与模型压缩,还是两者兼顾?
本文提出了一种并发对抗训练和权重修剪的框架,可以在保持对抗鲁棒性的情况下实现模型压缩,同时解决对抗训练的困境,并进一步研究了关于传统设置下的权重修剪的两个假设。