通过适应和增强检测时间鲁棒性

Oct, 2021

MEMO: Test Time Robustness via Adaptation and Augmentation

Marvin Zhang, Sergey Levine, Chelsea Finn

TL;DR本文提出了一种简单的方法，在没有模型训练过程的任何假设的情况下，通过在测试数据点上执行不同的数据增强并通过最小化平均输出分布的熵来适应模型参数，从而提高模型的鲁棒性。该方法在多个基准测试中都表现出色，并在 ImageNet-C、ImageNet-R 和 ImageNet-A 分布偏移基准测试中实现了最先进的结果。

Abstract

While deep neural networks can attain good accuracy on in-distribution test points, many applications require robustness even in the face of unexpected perturbations in the input, changes in the domain, or other

deep neural networks robustness test time adaptation data augmentations model parameters

发现论文，激发创造

通过置信度最大化和输入变换对分布偏移进行测试时间适应

该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

Jun, 2021

测试时间数据扩增的学习损失

该研究提出了一种基于实例的测试时间数据增强方法，使用辅助模块来预测每种可能的转换的损失，并将预测损失较低的转换应用于输入，实验结果表明该方法提高了模型对多种损坏的鲁棒性。

Oct, 2020

利用测试时间增强和一致性评估进行异常检测

本文提出一种针对神经网络对未知数据的检测算法，名为 TTA-AD，借鉴了一种新的观察方法，实验证明 TTA-AD 在不同高效图像基准数据集下，运行时间比现有基于分类器的算法下降了 60%~90% 且具有可比较或更好的检测性能。

Jun, 2022

快速网络调整：利用测试时反馈学习适应神经网络

提出了一种适应神经网络在测试时分布发生变化的方法，通过闭环系统和测试时反馈信号来在实时中进行网络的适应，该方法使用基于学习的函数来实现很好的效果，使适应比基准方法更加灵活和快捷。

Sep, 2023

对于分布转移下的对抗鲁棒性的通用性

本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响，并发现两种鲁棒性均适用于未知的数据域。同时我们也证明，在医学应用中，对抗性增强显著提高了鲁棒性的泛化能力，对数据准确性影响不大。

Sep, 2022

通过协变量转移适应性提高对常见数据损坏的稳健性

本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

Jun, 2020

TeST: 分布偏移下的测试时自训练

该篇论文提出了一种 Test-Time Self-Training（TeST）技术，通过使用学生 - 老师结构学习不变和强鲁棒性表示来适应新的分布，进而提高模型在分布变化的测试时期的适应性，其结果显示，与现代域自适应算法相比，使用 TeST 的模型在目标检测和图像分割上达到了最新的测试时间域适应算法的最优水平。

Sep, 2022

稳健性的多重面貌：对于越界泛化的关键分析

本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

Jun, 2020

数据增强能提高稳健性

本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

Nov, 2021

基于扩散模型的测试时间图像适应性用于鲁棒皮肤病变分类

我们提出了一种测试时间图像适应方法，通过同时更新和预测测试图像来提高模型在测试数据上的准确性，通过扩散模型将目标测试图像反投影到源域，设计结构指导模块通过低通滤波添加细化操作，用于正则化扩散以保留结构信息，并引入自整合方案自动调整对适应和未适应输入的依赖关系，增强适应鲁棒性。在我们构建的 ISIC2019-C 和 Dermnet-C 损坏鲁棒性评估基准上进行的大量实验表明，我们的方法在各种损坏、体系结构和数据区域上使分类器更加鲁棒。我们的数据集和代码将在 https://github.com/minghu0830/Skin-TTA_Diffusion 上提供。

May, 2024