Jun, 2020

分布偏移下的稳定对抗学习

PDF
TL;DR本文提出了一种 Stable Adversarial Learning（SAL）算法，该算法通过利用异构数据源构建更实用的不确定性集合，并针对与目标之间的相关性稳定性进行差异化的强鲁棒性优化，在随机梯度优化的情况下证明了可行性和提供了性能保证。该算法的实证研究在模拟和实际数据集上验证了其总体表现较好的有效性。
machine learningworst-case riskadversarial learningstochastic gradient-based optimizationdistributional shifts
发现论文，激发创造
  • 具有稳定对抗训练的分布鲁棒学习

    本文提出了一种新的稳定对抗学习（SAL）算法，该算法利用异质数据源构建了更实用的不确定性集，并根据协变量与目标的稳定性进行差异化的鲁棒性优化，理论上表明我们的方法适用于随机梯度下降优化，并为我们的方法提供了性能保证。在模拟和实际数据集上的实证研究验证了我们的方法在未知分布转移方面的均匀优秀性能。

    Jun, 2021

  • 应用于强化学习的纠正误指的回归中减轻协变量变化

    在机器学习应用中普遍存在分布偏移现象，本文研究在模型错误规定和对抗性协变量偏移存在的情况下的分布偏移影响，提出一种新的算法，通过鲁棒优化技术避免了错误规定放大，同时获得最佳的统计指标，应用于离线和在线强化学习。

    Jan, 2024

  • 检测和应对分布偏移下的伪特征

    本文主要探讨机器学习中机器如何学习到能够捕捉输入特征与输出标签之间因果关系的鲁棒性表征，以及在有偏或有限数据集上可能存在的虚假相关性。提出了一种基于最小充分统计量的鲁棒表征和虚假表征的信息理论概念，并基于分组分布式鲁棒优化方法来缓解输入分布偏移的问题，同时通过实验展示该方法在图像和语言任务中具有显著的鲁棒性优势。

    Jun, 2021

  • 对抗训练的数据依赖稳定性分析

    通过加入数据分布信息，我们提供了基于随机梯度下降的对抗训练的泛化界限，分析了数据分布的变化和对抗攻击的影响。

    Jan, 2024

  • 处理任意协变量偏移学习的容错算法

    研究在任意分布转移下的学习问题，重点关注 PQ 学习、TDS 学习两个框架以及谱异常移除技术对多项式回归及容忍可测试学习的影响。

    Jun, 2024

  • 费米博士：一种随机分布鲁棒公平经验风险最小化框架

    提出了首个具有收敛保证的随机分布鲁棒公平性框架，不需要对因果图的了解，在分布转移的环境中将公平推断制定为 $L_p$ 范数不确定性集合下的分布鲁棒优化问题。

    Sep, 2023

  • 针对测试时攻击与分布偏移的可靠学习

    本文讨论机器学习算法在环境未完全准确的情况下的应用，尤其是面对对抗攻击和分布变化的情况下，引入新的鲁棒性可靠性保证，并提供优秀的学习方案，分析了可靠性区域，同时分别分析了近似对数凹分布和平滑概率分布下的线性分类器和光滑边界分类器的可靠性区域中可靠性区域的概率质量上界。

    Apr, 2023

  • 将未标记数据纳入分布鲁棒学习中

    本研究介绍了一种新的分布鲁棒学习方法，该方法通过加入无标签数据以限制敌手从指定分布中选择数据，可以有效地进行分类，并提出了一个分布鲁棒的版本，可应用于主动学习。在 14 个真实数据集上的结果表明，该算法往往在传统方法无法提供良好结果的情况下表现出色。

    Dec, 2019

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 基于多源数据的分布鲁棒机器学习

    利用多源数据建立组分布鲁棒预测模型以优化关于目标分布解释方差的对抗性奖励，提高了面对分布偏移的目标群体的预测准确性；该模型是源群体条件结果模型的加权平均，并通过引入偏差校正估计器提高了聚合权重的收敛速度，同时满足一些隐私约束并具有解释不同源数据对于预测给定目标协变量分布的重要性的优点。

    Sep, 2023