May, 2024

多组鲁棒性

PDF
TL;DR通过设计健壮的学习算法以克服任意和无差别的数据损坏，我们提出了一种多群健壮算法，其对每个亚群体的健壮性仅随该亚群体内的数据损坏量而降低。当数据损坏在亚群体中分布不均匀时，我们的算法提供比标准保证更有意义的健壮性保证，这些标准保证对数据损坏和受影响亚群体的关系视而不见。我们的技术在多群公平性和健壮性之间建立了新的联系。
robust learning algorithmsdata corruptionmultigroup robust algorithmssubpopulationmultigroup fairness
发现论文，激发创造
  • 利用神经特征获得增强的组鲁棒性

    本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

    Aug, 2022

  • 在部分群标签存在的情况下实现群体鲁棒性

    提出一种利用部分敏感信息训练深度神经网络并改善少数群体预测性能的方法。

    Jan, 2022

  • 潜变量混合的分布鲁棒损失

    该研究使用凸优化方法控制给定大小的所有子人群的最坏情况表现，从而提高模型的泛化能力。实证研究表明该方法可在未知子人群中推广。

    Jul, 2020

  • 基于多源数据的分布鲁棒机器学习

    利用多源数据建立组分布鲁棒预测模型以优化关于目标分布解释方差的对抗性奖励，提高了面对分布偏移的目标群体的预测准确性；该模型是源群体条件结果模型的加权平均，并通过引入偏差校正估计器提高了聚合权重的收敛速度，同时满足一些隐私约束并具有解释不同源数据对于预测给定目标协变量分布的重要性的优点。

    Sep, 2023

  • 通过子群混合增强数据以提高公平性

    通过对小组之间进行配对混合的数据增广方法，改善组间公平性并提高分类性能，特别是针对少数群体的社会偏见问题。

    Sep, 2023

  • 面向现实世界的定制健壮性通用框架：基于群体的健壮性

    本文旨在通过定义一种补充现有度量方式的量化指标 —— 群体韧性，更好地评估模型在特定攻击情境下的表现并提出了两种损失函数、三种新的攻击策略，证明了该指标对于区分对特定威胁模型的脆弱性有更好的效果，并提出了一种防御方法，可以将群体韧性提高 3.52 倍。

    Jun, 2023

  • 具有概率群的分布鲁棒优化

    本文提出了一种新的概率组成员身份的框架 PG-DRO，以解决现代机器学习模型易受特定样本组内平均相关性的干扰的问题，通过考虑软组成员身份而不是硬组注释，该框架可以灵活生成组概率，从而更好地适应样本组成员身份模糊的情况，并在图像分类和自然语言处理基准测试中得到了优越性能。

    Mar, 2023

  • 依赖于组的标签噪声下的公平分类

    研究了在训练标签被随机噪声污染和误差率依赖于保护子组的成员函数的情况下如何训练公平分类器，发现简单地强制使用人口统计差异措施达到平等，会降低分类器的准确性和公平性。通过使用指定的替代损失函数和替代约束条件对经验风险最小化进行优化可以减少标签噪声引起的问题。

    Oct, 2020

  • 专注于共同利益：团体分布稳健性的追求

    本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

    Oct, 2021

  • 公平稳健训练的样本选择

    提出了一种基于样本选择的算法来进行公平和鲁棒性训练，通过解决组合优化问题来实现样本无偏选择，并通过贪心算法解决了 NP 难问题，实验结果表明该算法在合成和基准真实数据集上具有优越的公平和鲁棒性。

    Oct, 2021