Jun, 2023

分布式鲁棒优化下的随机重新加权梯度下降

PDF
TL;DR本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示学习等各种任务中提高性能。该方法在 DomainBed 和 Tabular 基准测试中的表现比 SOTA 提高了 0.7% 和 1.44%，对 GLUE 基准测试中的 BERT 表现提升了 1.94%，对 ImageNet-1K 中的 ViT 表现提升了 0.9%，证明了该方法的有效性和潜力。
deep neural networksimportance weighting$f$-divergencesoptimization algorithmsperformance improvement
发现论文，激发创造
  • 双重稳健实例重新加权对抗训练

    提出一种新型的双重鲁棒性实例重新加权的对抗训练 (AT) 框架，通过探索分布鲁棒优化技术获得重要性权重，并在最脆弱的示例上提高鲁棒性。

    Aug, 2023

  • 通过重新加权优化轨迹增强对抗训练

    本文提出了一种名为 WOT 的新方法，该方法利用对抗训练的历史优化轨迹，以改善在对抗攻击下的鲁棒性，并在多种最先进的对抗攻击中表现出高效性。

    Jun, 2023

  • 通过有原则的对抗训练证明一些分布鲁棒性

    利用分布鲁棒优化的方式解决神经网络在对抗攻击下的鲁棒性问题，通过在 Wasserstein ball 内惩罚扰动数据分布的方式，通过我们提出的训练过程，能够实现对训练数据的最坏情况扰动而获得中等水平的健壮性，同时具有较小的计算和统计成本，并且我们的统计保证使我们能够有效地验证整体损失的健壮性，对于感知扰动，我们的方法与启发式方法相匹配或更好。

    Oct, 2017

  • 神经网络的 Wasserstein 分布鲁棒性

    对于图像识别任务，深度神经网络易受到针对性攻击，本文使用 Wasserstein 分布鲁棒优化技术重新构建问题模型，并提出了新的攻击算法，包括 FGSM 和 PGD，并给出了对分布威胁模型的渐进估计。

    Jun, 2023

  • 标签噪声下和更多情况下的指数梯度加权鲁棒训练

    研究了在机器学习中，每个训练周期都是将梯度步骤视为朝着最小化每个批次的例子的平均损失的方向，其中噪声会导致过度拟合到损失值较大的噪声样本，提出了一种使用指数梯度更新的加权学习方法，适用于一系列噪声类型和应用场景的损失函数。

    Apr, 2021

  • 用乘法重新加权进行神经网络鲁棒性优化

    提出一种使用 MW 重新加权示例的神经网络优化方法，该方法在标签存在噪声的情况下稳健且可提高准确性，同时不会影响其对抗鲁棒性。

    Feb, 2021

  • 排名与重新加权改善组分布鲁棒性

    本文提出了一种基于 Discounted Cumulative Gain（DCG）评估模型质量的方法，并建议了 Discounted Rank Upweighting（DRU）训练方法以提高模型的品质，在实验中结果表明，这种基于组排名的训练方法能够选择和学习出对组分布性变化具有鲁棒性的模型。

    May, 2023

  • 全局 - 局部正则化的分布鲁棒性

    本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

    Mar, 2022

  • 基于 Wasserstein 距离的加权提升选择性

    通过设计一种简单高效的贪婪算法来重新加权损失函数，从而使神经网络权重的极限分布逼近训练于另一个数据集上所得到的极限分布，算法可用于引入数据分布偏移进行多准则优化。

    Jan, 2024

  • 分布鲁棒学习的无偏梯度估计

    通过分布式鲁棒性学习，我们提出了一种新的方法以解决模型的泛化问题，该方法采用随机梯度下降求解外层最小化问题，并通过多层蒙特卡罗随机化有效地估计内层最大化问题的梯度，并通过得出理论结果确定了梯度估计器的最佳参数化，从而在计算时间和统计方差之间平衡。数值实验证明，我们的 DRL 方法在以往研究中具有显著优势。

    Dec, 2020