Jun, 2024

少即是多：持续测试时间适应的伪标签过滤

PDF
TL;DR在测试阶段无需访问源数据，连续测试时适应 (CTTA) 旨在将预训练模型调整到一系列目标领域。为了适应未知领域的无标签数据，现有方法依赖于为所有样本构建伪标签并通过自我训练来更新模型。然而，这些伪标签往往包含噪声，导致适应不足。为了提高伪标签的质量，我们提出了一种 CTTA 的伪标签选择方法，称为 Pseudo Labeling Filter (PLF)。PLF 的关键思想是为伪标签持续选择适当的阈值，并识别可靠的伪标签用于自我训练。具体而言，我们提出了连续领域学习中设置阈值的三个原则，包括初始化、增长和多样性。基于这些原则，我们设计出了自适应阈值方法来过滤伪标签。此外，我们引入了一种类先验对齐方法来鼓励模型对未知领域样本进行多样化预测。通过大量实验证明，PLF 优于当前最先进的方法，证明了其在 CTTA 中的有效性。
发现论文，激发创造
  • PALM: 推动自适应学习率机制以进行连续的测试时间自适应

    通过在不依赖于伪标签的情况下，通过模型预测不确定性的量化来识别层，以克服先前方法的局限性；在 CIFAR-10C、CIFAR-100C 和 ImageNet-C 等标准测试数据集上进行了详细的图像分类实验，证明了我们方法的功效。

    Mar, 2024

  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • 在线测试时间适应的领域特定块选择和配对视觉伪标签

    测试时间适应 (TTA) 目的在于在部署后无法访问源数据的情况下，将预训练模型调整到新的测试领域。我们提出了 DPLOT，一个简单而有效的 TTA 框架，主要包括两个组件：(1) 选择涉及特定领域特征提取的块，通过熵最小化对这些块进行训练；(2) 使用配对视图图像生成伪标签。通过简单地使用翻转增强，我们防止了伪标签质量的降低。我们的实验结果表明，DPLOT 在 CIFAR10-C、CIFAR100-C 和 ImageNet-C 基准测试中表现优于以前的 TTA 方法，分别减少了 5.4%、9.1% 和 2.9% 的错误。

    Apr, 2024

  • 连续化测试时间域自适应通过动态样本选择

    在该文中，作者提出了一种用于 Continual Test-time Domain Adaptation 的 Dynamic Sample Selection（DSS）方法，通过动态阈值、正向学习和反向学习等过程，选择低质量样本并进行联合学习，从而提高模型在图像领域的效果，并展示了其在 3D 点云领域的适用性和潜力。

    Oct, 2023

  • 可靠的测试时间适应性的解耦原型学习

    通过提出 Decoupled Prototype Learning (DPL) 方法，本研究解决了使用伪标签进行交叉熵损失微调时容易受到标签噪声影响的问题，并引入了基于内存的策略增强小批量处理的鲁棒性，在遇到不确定伪标签的样本时，使用一致性正则化方法转移特征风格以提高测试时自适应（TTA）的可靠性。实验结果表明，我们的方法在领域泛化基准上取得了最先进的性能，并可靠提高图像破坏基准上基于自训练方法的性能。

    Jan, 2024

  • 装扮新人：基于视觉域提示的连续测试时间适应

    本文提出了一种基于图像级视觉域提示的连续测试时间适应方法，在不访问源数据的情况下适应于持续变化的未标记目标域。该方法包括两种提示类型：域特定提示和域不可知提示，并设计了一种基于一致性的提示自适应策略。实验证明，该方法在四个广泛使用的基准测试中实现了显著的性能提高。

    Dec, 2022

  • 扰动一致性学习下的测试时自适应

    本文介绍了一种名为 PCL 的简单的测试时间自适应方法，用于解决分布转移问题和提高预测的稳定性。实验结果表明，与强大的 PLM 骨干和先前的 TTA 方法相比，该方法能够在更短的推理时间内实现更高或可比较的性能。

    Apr, 2023

  • 基于自训练的领域自适应的双阶段伪标签密集化

    本研究提出了一种 Two-phase Pseudo Label Densification （TPLD）框架来解决自我训练中的次优模型问题，该框架在处理有序标签方面取得了显着改善，并与现有的 CRST 自我训练框架相结合，在标准的 UDA 基准测试上实现了最新的技术成果。

    Dec, 2020

  • 可控的持续测试时间自适应

    通过引入一种新颖的方法，即 C-CoTTA，它明确防止任何单个类别侵占其他类别，从而减轻不可控转换引起的各类别之间的相互影响，减少模型对领域转换的敏感性，从而降低类别转变的程度。

    May, 2024

  • 缓解模型对持续测试时间调整的偏见

    本文研究了在不断变化的目标领域中将源预训练模型适应的困难任务，发现源模型对目标数据流分布的不断改变表现出高度偏向的预测，本文提出了一种解决偏见问题的方法，并在现有的连续测试时间适应方法基础上取得了显著的性能提升，而适应时间开销并不大。

    Mar, 2024