鲁棒连续测试时间调整对抗时间相关性

Aug, 2022

鲁棒连续测试时间调整对抗时间相关性

NOTE: Robust Continual Test-time Adaptation Against Temporal Correlation

Taesik Gong, Jongheon Jeong, Taewon Kim, Yewon Kim, Jinwoo Shin...

TL;DR本研究提出一种新的测试时间适应方案，该方案主要通过实例感知批量归一化 (IABN) 和预测平衡库采样 (PBRS) 增强模型对非独立同分布数据流的鲁棒性。在各种数据集（包括真实世界的非独立同分布流）上的评估表明，所提出的鲁棒 TTA 不仅在非独立同分布环境下优于现有方法，而且在独立同分布假设下也能达到同等性能。

Abstract

test-time adaptation (TTA) is an emerging paradigm that addresses distributional shifts between training and testing phases without additional data acquisition or labeling cost; only unlabeled test data streams are used for continual model adaptation. Previous TTA schemes assume that t

test-time adaptation non-i.i.d. data stream instance-aware batch normalization prediction-balanced reservoir sampling robustness

发现论文，激发创造

连续动态场景下的广义鲁棒测试时间自适应

在测试期间，通过使用未标记的测试数据流独占地对预先训练的模型进行适应，测试时间适应（TTA）在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应（PTTA）设置，并提出了一种广义鲁棒的测试时间适应（GRoTTA）方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本，实验表明 GRoTTA 在 PTTA 设置下明显优于现有竞争对手，有助于在实际应用中采用。

Oct, 2023

动态场景下的鲁棒性测试时间适应

本研究提出了一种适用于实际测试数据流的鲁棒测试时间自适应方法，其中包括批量归一化方案、内存库和师生模型，能够稳定地应用于动态实际应用场景中。

Mar, 2023

SoTTA：嘈杂数据流上的鲁棒测试时适应

通过高置信度统一类别采样实现输入层面的健壮性和通过熵 - 锐度最小化提高模型参数对噪声样本大梯度的健壮性，我们提出了一种对噪声样本具有鲁棒性的新颖的测试时适应性算法（SoTTA），在各种噪声场景下，我们的方法优于基准测试时适应性方法，并在没有噪声样本的情况下达到可比较的准确度。

Oct, 2023

全面测试时间适应的汇编技巧

全面测试时间适应 (TTA) 旨在使模型适应数据漂移，最近引起了广泛的兴趣。我们提供了选择的正交 TTA 技术的分类，并对其对不同情景的影响进行了细致分析。我们揭示了这些技术在准确性、计算能力和模型复杂性之间产生的权衡，并发现了将技术结合起来产生的协同效应，从而取得了新的最先进结果。

Oct, 2023

无遗忘的高效测试时间模型自适应

本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

Apr, 2022

AR-TTA：一种用于现实世界中连续测试时适应的简单方法

提出了一种名为 AR-TTA 的方法，该方法在自主驾驶领域中进行了测试时间适应，以处理不同程度的领域转变，并在维护源模型知识和适应动态变化的数据流方面表现优越。

Sep, 2023

分布偏移下测试时间适应的综合调查

本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

Mar, 2023

关于测试时适应性的陷阱

本文提出了针对测试时间适应（TTA）的测试基准 TTAB，通过实验表明：在线批次依赖性使得选择适当的超参数尤其是选择模型极为困难，TTA 的有效性取决于模型的质量和属性，并且即使在最优算法条件下，现有方法也无法处理所有常见类型的分布转移，因此需要在更广泛的模型和转移集上进行严格评估和重新审视 TTA 的实证成功条件。

Jun, 2023

应对在线测试时间自适应中的时间相关数据流的多样性感知缓冲

分布偏移往往在模型部署后发生，导致模型性能严重下降。本文提出了一种多样性感知和类别平衡的缓冲区，可以模拟非独立同分布的数据流，并结合多样性和熵加权熵损失，在 ImageNet 基础上实现了对各种破坏和自然领域偏移的稳定适应，并取得了最新的研究进展。

Jan, 2024

弹性实践测试时间适应：软批归一化对齐和熵驱动的记忆库

通过在测试时进行领域适应，提出了一种抗干扰的实用测试时间适应（ResiTTA）方法，用于解决模型退化和数据质量问题。利用鲁棒批量归一化方法和软对齐策略缓解过拟合和模型退化，并采用熵驱动的记忆库存储高质量数据。通过教师 - 学生模型和自学习损失对模型进行周期性的适应，最终在多个基准数据集上取得了最先进的性能。

Jan, 2024