Mar, 2024

缓解模型对持续测试时间调整的偏见

PDF
TL;DR本文研究了在不断变化的目标领域中将源预训练模型适应的困难任务，发现源模型对目标数据流分布的不断改变表现出高度偏向的预测，本文提出了一种解决偏见问题的方法，并在现有的连续测试时间适应方法基础上取得了显著的性能提升，而适应时间开销并不大。
continual test-time adaptationsource pre-trained modelbias issuetarget prototypestarget distributions
发现论文，激发创造
  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • PALM: 推动自适应学习率机制以进行连续的测试时间自适应

    通过在不依赖于伪标签的情况下，通过模型预测不确定性的量化来识别层，以克服先前方法的局限性；在 CIFAR-10C、CIFAR-100C 和 ImageNet-C 等标准测试数据集上进行了详细的图像分类实验，证明了我们方法的功效。

    Mar, 2024

  • 可控的持续测试时间自适应

    通过引入一种新颖的方法，即 C-CoTTA，它明确防止任何单个类别侵占其他类别，从而减轻不可控转换引起的各类别之间的相互影响，减少模型对领域转换的敏感性，从而降低类别转变的程度。

    May, 2024

  • 参数选择性持续测试时间适应

    本文引入了 Parameter-Selective Mean Teacher (PSMT) 方法，通过选择性的蒸馏机制在学生模型中利用过去知识对新知识进行正则化，以减轻错误积累的影响；同时，在教师模型中通过 Fisher 信息创建掩码来有选择性地更新参数，并应用保存措施于关键参数，以避免灾难性遗忘，实验证实 PSMT 在多个基准数据集上优于现有方法。

    Jul, 2024

  • 自适应分布遮蔽自编码器用于持续测试时自适应

    提出了持续测试时间适应（CTTA），用于将源预训练模型迁移到不断变化的目标分布，以应对现实世界的动态变化。通过构建适应性分布遮罩自编码器（ADMA）来提取目标领域知识并缓解分布转移累积的问题，实验结果表明在分类和分割 CTTA 任务中达到了最先进的性能。

    Dec, 2023

  • 探索连续变化环境中目标检测的测试时适应

    CTAOD 通过使用 mean-teacher 框架并引入对象级对比学习模块、动态阈值策略和数据驱动的随机恢复机制，在处理不断变化的目标域中提高检测模型性能，实验结果显示在对象检测的四个 CTTA 任务中，CTAOD 优于现有方法，尤其在 Cityscapes-to-Cityscapes-C CTTA 任务上提高了 3.0 mAP。

    Jun, 2024

  • 面向语义分割的分布感知持续测试时间适应

    我们提出了一种分布感知调优 (DAT) 方法，通过数据分布选择和更新训练参数，以使连续测试时间适应 (CTTA) 在实际应用中变得高效和实用，该方法在两个广泛使用的语义分割 CTTA 基准测试上取得了优异的性能。

    Sep, 2023

  • 装扮新人：基于视觉域提示的连续测试时间适应

    本文提出了一种基于图像级视觉域提示的连续测试时间适应方法，在不访问源数据的情况下适应于持续变化的未标记目标域。该方法包括两种提示类型：域特定提示和域不可知提示，并设计了一种基于一致性的提示自适应策略。实验证明，该方法在四个广泛使用的基准测试中实现了显著的性能提高。

    Dec, 2022

  • 变分持续测试时间自适应

    本文介绍了 VCoTTA，这是一种变分贝叶斯方法，用于在 Continual Test-Time Adaptation（CTTA）中测量不确定性，并且该方法通过组合源模型和教师模型的先验来更新学生模型，实验证明该方法在减轻 CTTA 框架内的先验漂移方面的有效性。

    Feb, 2024

  • 连续测试时间适应中源知识的有效恢复

    通过无监督领域变化检测方法，该论文解决了传统测试时适应方法在动态环境中适应连续变化的目标分布时所面临的挑战，包括之前学习的有价值源知识的灾难性遗忘和由于错误标签的错误校准而导致的渐进性误差积累问题。

    Nov, 2023