可靠的测试时间适应性的解耦原型学习

Jan, 2024

可靠的测试时间适应性的解耦原型学习

Decoupled Prototype Learning for Reliable Test-Time Adaptation

Guowei Wang, Changxing Ding, Wentao Tan, Mingkui Tan

TL;DR通过提出 Decoupled Prototype Learning (DPL) 方法，本研究解决了使用伪标签进行交叉熵损失微调时容易受到标签噪声影响的问题，并引入了基于内存的策略增强小批量处理的鲁棒性，在遇到不确定伪标签的样本时，使用一致性正则化方法转移特征风格以提高测试时自适应（TTA）的可靠性。实验结果表明，我们的方法在领域泛化基准上取得了最先进的性能，并可靠提高图像破坏基准上基于自训练方法的性能。

Abstract

test-time adaptation (TTA) is a task that continually adapts a pre-trained source model to the target domain during inference. One popular approach involves fine-tuning model with cross-entropy loss according to estimated pseudo-labels. However, its performance is significantly affecte

test-time adaptation decoupled prototype learning label noise memory-based strategy consistency regularization

发现论文，激发创造

扰动一致性学习下的测试时自适应

本文介绍了一种名为 PCL 的简单的测试时间自适应方法，用于解决分布转移问题和提高预测的稳定性。实验结果表明，与强大的 PLM 骨干和先前的 TTA 方法相比，该方法能够在更短的推理时间内实现更高或可比较的性能。

Apr, 2023

共轭伪标签测试时调整

本文研究了针对分布漂移进行测试时间自适应（TTA）的方法，在各种函数类中元学习 TTA loss 能够迅速获得与熵函数类似的 loss 函数，并基于最优 loss 函数提供了更好的 TTA 方法。同时，在新型的 supervised training loss 函数中，我们的方法也显示了优异的表现，为改善测试时间自适应提供了广阔的框架。

Jul, 2022

在线测试时间适应的领域特定块选择和配对视觉伪标签

测试时间适应 (TTA) 目的在于在部署后无法访问源数据的情况下，将预训练模型调整到新的测试领域。我们提出了 DPLOT，一个简单而有效的 TTA 框架，主要包括两个组件：(1) 选择涉及特定领域特征提取的块，通过熵最小化对这些块进行训练；(2) 使用配对视图图像生成伪标签。通过简单地使用翻转增强，我们防止了伪标签质量的降低。我们的实验结果表明，DPLOT 在 CIFAR10-C、CIFAR100-C 和 ImageNet-C 基准测试中表现优于以前的 TTA 方法，分别减少了 5.4%、9.1% 和 2.9% 的错误。

Apr, 2024

无遗忘的高效测试时间模型自适应

本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

Apr, 2022

领域泛化的改进测试时适应

本文提出了一种改进的测试时间自适应方法（ITTA），通过引入一个可学习的一致性损失，用于更新辅助测试任务，并且只在测试阶段更新可训练参数，从而解决了域泛化中分布偏移问题，实验表明，该方法在多个评估基准上具有卓越的性能。

Apr, 2023

熵不足以实现测试时适应性：从解开因素的角度

通过研究发现，使用熵作为置信度指标在存在偏见的情况下对测试时间适应性方法 (TTA) 不可靠，因此引入了一种名为 “Destroy Your Object” (DeYO) 的新型 TTA 方法，它利用了一种名为 “Pseudo-Label Probability Difference” (PLPD) 的置信度指标，并通过选择样本和加权样本的方式进行鲁棒性适应，从而优于基准方法。

Mar, 2024

基于原型特征的完全测试时间自适应中的梯度对齐

通过提出一种称为原型特征的梯度对齐正则化器（GAP）来减轻测试时自适应中由于错误分类的伪标签的信息熵最小化损失的不适当指导。我们开发了一种梯度对齐损失来精确地管理自适应过程，确保对一些数据所做的更改不会对其他数据上的模型性能产生负面影响。为了使 GAP 正则化器能够在只能访问没有标签的测试数据的 TTA 约束下实现，我们通过两种方式调整了其公式：用分类器的权重向量近似原型特征，计算梯度而无需反向传播。我们展示了 GAP 显著改善了各种数据集上的 TTA 方法，证明了其多功能性和有效性。

Feb, 2024

无遗忘的不确定性校准的测试时间模型适应

测试时间适应 (Test-time adaptation，TTA) 在适应给定模型到任何测试样本，以解决训练与测试数据之间的潜在分布差异。然而，现有方法在每个测试样本上执行反向传播，导致对许多应用而言无法承受的优化成本，并且现有的 TTA 在无分布数据上可以显著提高测试性能，但在分布数据上经常遭受严重的性能退化（即遗忘）。为了解决这个问题，我们提出了一种高效的抗遗忘测试时间适应（Efficient Anti-Forgetting Test-Time Adaptation，EATA）方法，该方法通过开发主动样本选择准则来识别可靠且非冗余的测试样本，以实现测试时间熵的最小化。为了减轻遗忘，EATA 引入了一种从测试样本估计的 Fisher 正则化约束重要模型参数以防止剧烈变化的方法。然而，在 EATA 中，采用的熵损失通常将更高的置信度分配给不确定的样本，导致过度自信的预测。为了解决这个问题，我们进一步提出了用校准（Calibration）的 EATA（EATA-C）来分别利用可减小的模型不确定性和固有数据不确定性进行校准的 TTA。具体来说，我们通过完整网络和其子网络之间的预测差异来衡量模型不确定性，为此我们提出了一种差异损失来鼓励一致的预测而不是过度自信的预测。为了进一步重新校准预测置信度，我们利用预测标签之间的差异作为数据不确定性的指标，然后设计了一种最小最大熵正则化器来有选择地增加和减小不同样本的预测置信度。图像分类和语义分割的实验验证了我们方法的有效性。

Mar, 2024

少即是多：持续测试时间适应的伪标签过滤

在测试阶段无需访问源数据，连续测试时适应 (CTTA) 旨在将预训练模型调整到一系列目标领域。为了适应未知领域的无标签数据，现有方法依赖于为所有样本构建伪标签并通过自我训练来更新模型。然而，这些伪标签往往包含噪声，导致适应不足。为了提高伪标签的质量，我们提出了一种 CTTA 的伪标签选择方法，称为 Pseudo Labeling Filter (PLF)。PLF 的关键思想是为伪标签持续选择适当的阈值，并识别可靠的伪标签用于自我训练。具体而言，我们提出了连续领域学习中设置阈值的三个原则，包括初始化、增长和多样性。基于这些原则，我们设计出了自适应阈值方法来过滤伪标签。此外，我们引入了一种类先验对齐方法来鼓励模型对未知领域样本进行多样化预测。通过大量实验证明，PLF 优于当前最先进的方法，证明了其在 CTTA 中的有效性。

Jun, 2024

连续的测试时域自适应

提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

Mar, 2022