通过对抗性样本检测过拟合

Mar, 2019

Detecting Overfitting via Adversarial Examples

Roman Werpachowski, András György, Csaba Szepesvári

TL;DR该研究提出了一种利用原始测试数据来检测过拟合的新方法，使用对抗性示例和重要性加权的无偏误差估计，尤其适用于多类图像分类模型在 ImageNet 基准测试上的过拟合检测。

Abstract

The repeated community-wide reuse of test sets in popular benchmark problems raises doubts about the credibility of reported test-error rates. Verifying whether a learned model is overfitted to a test set is challenging as independent test sets drawn from the same data distribution are usually unavailable, while other test sets may introduce a distribution s

test set reuse overfitting detection adversarial examples importance weighting imagenet benchmark

发现论文，激发创造

过拟合检验

机器学习中的过拟合问题及测试方法的研究。通过假设检验，使用训练数据进行模型评估和过拟合的定量定义和检测，同时注意到分布转移的标记和在缺乏统一 PAC 保证的情况下概括学习的另一种概念。

May, 2023

高置信度预测对抗样本

本文研究深度学习中的对抗样本问题，认为过度自信的模型更容易受到对抗样本的攻击，通过将鲁棒性与非校准模型置信度结合，提供一种不需要数据增强的前进路径，探究对抗样本现象的成因并阐述了测试准确度与真实泛化性能之间的区别以及过拟合与随机效应的关系。

Feb, 2018

模型相似性降低测试集过度使用

本文证明了在大尺度图像分类基准测试中，最新的提出的模型虽然其准确性相异，但其预测相似性很高，这一相似性缓解了过拟合问题。作者还根据这一相似性给出了一种新的泛化界限的数学模型，能够更好地应用于机器学习中测试数据的重复使用问题。

May, 2019

对抗样本是噪声下测试误差的自然结果

该研究提供了实证和理论证据表明对抗鲁棒性和图像损坏鲁棒性研究项目之间存在紧密联系，从而建议未来的对抗性防御应该考虑评估它们的方法对分布转移的鲁棒性。

Jan, 2019

自然对抗样本

使用对抗性过滤技术构建了两个具有挑战性的数据集，分别是 ImageNet-A 和 ImageNet-O，这两个数据集的出现使得计算机视觉模型的性能大幅下降，而现有的数据增强技术和公共训练数据集的使用带来的改进有限。

Jul, 2019

自适应数据分析与留存重用中的泛化

本文针对过拟合问题，提出了一种适用于自适应数据分析的算法，使用保留集重复验证后得到的假设，避免了过度拟合问题，同时利用描述长度和差分隐私，展示了在适应性场景下保证统计有效性的方法，并通过近似最大信息的方法将这些方法统一起来。

Jun, 2015

对抗鲁棒深度学习中的过拟合问题

研究深度学习领域中常用的过参数化网络和尽可能训练的现象，发现对于对抗训练的深度网络来说过拟合确实会对其稳健性产生很大的负面影响，因此建议使用提前停止等方法来取得相似的性能提升。

Feb, 2020

生成更不确定的对抗样本提高鲁棒泛化能力

最近的研究表明，深度神经网络对于对抗样本存在漏洞。已经提出了许多防御方法以提高模型的鲁棒性，其中对抗训练最为成功。本文重新审视了鲁棒过拟合现象。我们认为，对抗训练过程中产生的自信模型可能是潜在的原因，通过实证观察支持，具有更好鲁棒泛化能力的模型对于对抗样本的预测标签往往具有更均匀的分布。基于对抗确立的定义，我们在对抗训练框架中引入了一个额外的梯度步骤，以寻找能够生成置信度较低的对抗扰动输入的模型，进一步提高鲁棒泛化。我们的方法具有普适性，可以轻松与其他对抗训练方法的变体结合。在图像基准实验上进行的大量实验证明了我们的方法有效地减轻了鲁棒过拟合，并能够产生鲁棒性持续提升的模型。

Oct, 2023

概率异常：检测对抗样本的统计测试

通过计算测试统计量并利用对抗攻击引入的异常，我们提出了一种方法来可靠地检测被恶意策略改动的样本，并证明了在一定条件下此方法的有效性，我们在实验中也展示了此方法可以以高精度纠正对抗攻击的测试时间预测。

Feb, 2019

对抗性样本的（不）可避免性

该研究提出了一个确定深度学习模型标签更改是否合理的框架，并且定义了一个自适应的鲁棒性损失，使用导出的经验公式，开发了相应的数据增强框架和评估方法，证明了其对确定性标签下的一阶最近邻分类的维持一致性，并提供了实证评估结果。

Jun, 2021