Mar, 2024

PALM: 推动自适应学习率机制以进行连续的测试时间自适应

PDF
TL;DR通过在不依赖于伪标签的情况下，通过模型预测不确定性的量化来识别层，以克服先前方法的局限性；在 CIFAR-10C、CIFAR-100C 和 ImageNet-C 等标准测试数据集上进行了详细的图像分类实验，证明了我们方法的功效。
real-world vision modelscontinual test-time adaptationlayer-wise adaptive learning ratesdomain shiftmodel prediction uncertainty
发现论文，激发创造
  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • 装扮新人：基于视觉域提示的连续测试时间适应

    本文提出了一种基于图像级视觉域提示的连续测试时间适应方法，在不访问源数据的情况下适应于持续变化的未标记目标域。该方法包括两种提示类型：域特定提示和域不可知提示，并设计了一种基于一致性的提示自适应策略。实验证明，该方法在四个广泛使用的基准测试中实现了显著的性能提高。

    Dec, 2022

  • 缓解模型对持续测试时间调整的偏见

    本文研究了在不断变化的目标领域中将源预训练模型适应的困难任务，发现源模型对目标数据流分布的不断改变表现出高度偏向的预测，本文提出了一种解决偏见问题的方法，并在现有的连续测试时间适应方法基础上取得了显著的性能提升，而适应时间开销并不大。

    Mar, 2024

  • 面向语义分割的分布感知持续测试时间适应

    我们提出了一种分布感知调优 (DAT) 方法，通过数据分布选择和更新训练参数，以使连续测试时间适应 (CTTA) 在实际应用中变得高效和实用，该方法在两个广泛使用的语义分割 CTTA 基准测试上取得了优异的性能。

    Sep, 2023

  • 探索连续变化环境中目标检测的测试时适应

    CTAOD 通过使用 mean-teacher 框架并引入对象级对比学习模块、动态阈值策略和数据驱动的随机恢复机制，在处理不断变化的目标域中提高检测模型性能，实验结果显示在对象检测的四个 CTTA 任务中，CTAOD 优于现有方法，尤其在 Cityscapes-to-Cityscapes-C CTTA 任务上提高了 3.0 mAP。

    Jun, 2024

  • 连续测试时间适应中源知识的有效恢复

    通过无监督领域变化检测方法，该论文解决了传统测试时适应方法在动态环境中适应连续变化的目标分布时所面临的挑战，包括之前学习的有价值源知识的灾难性遗忘和由于错误标签的错误校准而导致的渐进性误差积累问题。

    Nov, 2023

  • 可控的持续测试时间自适应

    通过引入一种新颖的方法，即 C-CoTTA，它明确防止任何单个类别侵占其他类别，从而减轻不可控转换引起的各类别之间的相互影响，减少模型对领域转换的敏感性，从而降低类别转变的程度。

    May, 2024

  • 少即是多：持续测试时间适应的伪标签过滤

    在测试阶段无需访问源数据，连续测试时适应 (CTTA) 旨在将预训练模型调整到一系列目标领域。为了适应未知领域的无标签数据，现有方法依赖于为所有样本构建伪标签并通过自我训练来更新模型。然而，这些伪标签往往包含噪声，导致适应不足。为了提高伪标签的质量，我们提出了一种 CTTA 的伪标签选择方法，称为 Pseudo Labeling Filter (PLF)。PLF 的关键思想是为伪标签持续选择适当的阈值，并识别可靠的伪标签用于自我训练。具体而言，我们提出了连续领域学习中设置阈值的三个原则，包括初始化、增长和多样性。基于这些原则，我们设计出了自适应阈值方法来过滤伪标签。此外，我们引入了一种类先验对齐方法来鼓励模型对未知领域样本进行多样化预测。通过大量实验证明，PLF 优于当前最先进的方法，证明了其在 CTTA 中的有效性。

    Jun, 2024

  • 自适应分布遮蔽自编码器用于持续测试时自适应

    提出了持续测试时间适应（CTTA），用于将源预训练模型迁移到不断变化的目标分布，以应对现实世界的动态变化。通过构建适应性分布遮罩自编码器（ADMA）来提取目标领域知识并缓解分布转移累积的问题，实验结果表明在分类和分割 CTTA 任务中达到了最先进的性能。

    Dec, 2023

  • ViDA：用于连续测试时间自适应的稳态视觉领域适配器

    本研究提出 Continual Test-Time Adaptation (CTTA) 任务及 Visual Domain Adapter (ViDA) 实现了对预训练模型的修改，以适应不断变化的目标领域；同时还提出了 Homeostatic Knowledge Allotment (HKA) 策略，通过对各个 ViDA 分配不同等级的知识以适应实际应用中不同领域的变化，并在分类和分割任务等方面实现了最新的表现。

    Jun, 2023