针对测试时攻击与分布偏移的可靠学习

Apr, 2023

针对测试时攻击与分布偏移的可靠学习

Reliable Learning for Test-time Attacks and Distribution Shift

Maria-Florina Balcan, Steve Hanneke, Rattana Pukdee, Dravyansh Sharma

TL;DR本文讨论机器学习算法在环境未完全准确的情况下的应用，尤其是面对对抗攻击和分布变化的情况下，引入新的鲁棒性可靠性保证，并提供优秀的学习方案，分析了可靠性区域，同时分别分析了近似对数凹分布和平滑概率分布下的线性分类器和光滑边界分类器的可靠性区域中可靠性区域的概率质量上界。

Abstract

machine learning algorithms are often used in environments which are not captured accurately even by the most carefully obtained training data, either due to the possibility of `adversarial' test-time attacks, or

machine learning test-time attacks robust reliability guarantee adversary distribution shift

发现论文，激发创造

面对攻击具有强鲁棒性和高可靠性的学习者

研究了如何在多个角度上面对数据污染攻击实现强大的鲁棒性保证和提供可靠的预测，同时提供算法计算文本类问题的区间，并针对线性分离器提供了真正的多项式时间算法。

Mar, 2022

具有分布转变的可测试学习

在学习分布转移的基本问题中，我们提出了一个新模型，称为可测试学习，可以通过一个相关的测试来得到分类器在测试分布上的性能证明，并证明了对于一些常见概念类别如半空间、半空间的交、决策树等，以及具有低次 $L_2$- 夹逼多项式逼近器的任何函数类别都可以在这个模型下学习。

Nov, 2023

稳健验证：即使分布发生偏移，也能自信地做出预测

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

学习中的分布偏移的高效差异性测试

提供了可靠与高效的算法来测试本地化的差异距离，进一步扩展了 TDS 学习模型并改进了之前相关的工作，同时提供了针对常数深度电路的指数级改进，与低维凸集的首个正面结果。

Jun, 2024

分布偏移下的稳定对抗学习

本文提出了一种 Stable Adversarial Learning（SAL）算法，该算法通过利用异构数据源构建更实用的不确定性集合，并针对与目标之间的相关性稳定性进行差异化的强鲁棒性优化，在随机梯度优化的情况下证明了可行性和提供了性能保证。该算法的实证研究在模拟和实际数据集上验证了其总体表现较好的有效性。

Jun, 2020

具有稳定对抗训练的分布鲁棒学习

本文提出了一种新的稳定对抗学习（SAL）算法，该算法利用异质数据源构建了更实用的不确定性集，并根据协变量与目标的稳定性进行差异化的鲁棒性优化，理论上表明我们的方法适用于随机梯度下降优化，并为我们的方法提供了性能保证。在模拟和实际数据集上的实证研究验证了我们的方法在未知分布转移方面的均匀优秀性能。

Jun, 2021

分布无关可靠学习

研究可靠的不可知学习框架中的问题，使用单边多项式逼近可学习可靠分类器和构建适当的单边多项式逼近来学习大多数时完全可靠，这些算法还满足强属性效率属性并提供样本复杂度和运行时间之间的平滑折衷。

Feb, 2014

处理任意协变量偏移学习的容错算法

研究在任意分布转移下的学习问题，重点关注 PQ 学习、TDS 学习两个框架以及谱异常移除技术对多项式回归及容忍可测试学习的影响。

Jun, 2024

对于随机平滑分类器的严格对抗鲁棒性证明

采用输入随机化生成的分类器的集合可以具有很强的鲁棒性，该方法可扩展到更广泛的分布，特别是在离散情况下保证敌对的鲁棒性，并给出了相应的算法，此外，该研究有助于通过假设分类器的函数类来提高保证，并且具有图像和分子数据集上的实际应用。

Jun, 2019

费米博士：一种随机分布鲁棒公平经验风险最小化框架

提出了首个具有收敛保证的随机分布鲁棒公平性框架，不需要对因果图的了解，在分布转移的环境中将公平推断制定为 $L_p$ 范数不确定性集合下的分布鲁棒优化问题。

Sep, 2023