机器学习模型本地可靠性的高效估计

Jul, 2023

机器学习模型本地可靠性的高效估计

Efficient Estimation of the Local Robustness of Machine Learning Models

Tessa Han, Suraj Srinivas, Himabindu Lakkaraju

TL;DR本文提出了分析估计器，用于高效计算多类辨别模型的局部鲁棒性，并证实了这些估计器在标准深度学习模型中准确且高效地计算局部鲁棒性，突出了局部鲁棒性的概念理解的进步，并使其计算实用化，能够在关键的下游应用中使用。

Abstract

machine learning models often need to be robust to noisy input data. The effect of real-world noise (which is often random) on model predictions is captured by a model's local robustness, i.e., the consistency of

machine learning models local robustness analytical estimators deep learning models noise perturbation

发现论文，激发创造

混合分类器以缓解准确度与健壮性的权衡

机器学习模型在数据驱动的控制系统中取得了巨大的成功，然而标准学习模型通常会受到准确性和鲁棒性之间的权衡的限制，本文建立在最近的 “局部偏置平滑” 方法之上，开发了既具有标准模型高准确性又具有鲁棒模型高鲁棒性的分类器。

Nov, 2023

集体鲁棒认证的本地随机平滑

本文提出了一种基于新型局部化随机平滑方法的更普遍的模型合集鲁棒性认证方法，并在图像分割和节点分类任务上得到更高的准确性和更强的认证。

Oct, 2022

通过数据本地化对稀疏对抗扰动进行认证鲁棒性

通过对局部化数据分布的理解，提出了一种基于几何形态的简单分类器 Box-NN，并在 MNIST 和 Fashion-MNIST 数据集上取得了对于稀疏攻击的认证稳健性方面的最新研究成果。

May, 2024

利用局部流形平滑性预测跨领域泛化能力

提出了一种基于本地流形平滑度的分类器复杂度度量方法，其定义了分类器对于给定测试点周围流形邻域干扰的输出灵敏度，通过数据增强技术采样点估算平滑度，实验结果表明，该方法与实际的越域泛化之间存在强有力的相关性。

Jul, 2022

基于多源数据的分布鲁棒机器学习

利用多源数据建立组分布鲁棒预测模型以优化关于目标分布解释方差的对抗性奖励，提高了面对分布偏移的目标群体的预测准确性；该模型是源群体条件结果模型的加权平均，并通过引入偏差校正估计器提高了聚合权重的收敛速度，同时满足一些隐私约束并具有解释不同源数据对于预测给定目标协变量分布的重要性的优点。

Sep, 2023

使用自降噪技术为大型语言模型提供认证的鲁棒性

本文提出了一种新的针对大型语言模型的认证健壮方法，提高了模型的认证健壮性和预测稳定性，比现有认证方法表现更优秀，实验结果表明该方法在经验证健壮性和实证健壮性方面均优于现有认证方法。

Jul, 2023

使用主动学习量化本地模型的有效性

通过主动学习减少所需数据量并学习模型错误来获得本地有效性估计，而不是全局指标太不敏感或评估本地有效性成本过高。使用模型验证基准，提供实证证据表明该方法能够在使用相对较少的数据量时生成具有足够辨别性能的错误模型，同时相比于替代方法，对于本地有效性边界的局部变化具有增强的敏感性。

Jun, 2024

使用 100 倍的样本效率估计随机平滑的稳健半径

减少样本数量可以降低鲁棒性半径，但保持相同的置信度；本文提供了数学基础并在 CIFAR-10 和 ImageNet 数据集上进行了实验证明。

Apr, 2024

稳健验证：即使分布发生偏移，也能自信地做出预测

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

分析标签噪声下分类器的鲁棒性

该研究探讨了标签噪声分类器的稳健性，旨在提高模型对复杂实际场景中的噪声数据的抵抗能力，并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。

Dec, 2023