Apr, 2024

逐层早停机制用于测试时间适应

PDF
TL;DR通过引入 Layerwise EArly STopping (LEAST) 和使用一种新的基于梯度的度量来衡量当前学习特征对新域的相关性，我们提出了一种解决 Test Time Adaptation (TTA) 中保持学习新特征和保留预训练特征之间平衡的方法。这种方法可以在多个数据集、域转换、模型架构和 TTA 损失上提高现有 TTA 方法的性能。
test time adaptationlayerwise early stoppingdistribution shiftpretrained modelsdomain shift
发现论文，激发创造
  • 非平稳测试时间适应的逐层自动加权

    采用 Fisher 信息矩阵为基础的算法，通过引入逐层自动加权的方法，实现在不断变化的目标分布环境中的模型自适应，以减少遗忘和错误积累，并大大降低计算负载。

    Nov, 2023

  • 测试时间自适应的特征对齐和统一性

    该研究探讨了测试时间自适应的方法，使用特征修正、自我蒸馏以及空间本地化聚类等技术，提高了医学图像分割任务的性能，进一步提高了现有测试时间适应方法的性能表现。

    Mar, 2023

  • PALM: 推动自适应学习率机制以进行连续的测试时间自适应

    通过在不依赖于伪标签的情况下，通过模型预测不确定性的量化来识别层，以克服先前方法的局限性；在 CIFAR-10C、CIFAR-100C 和 ImageNet-C 等标准测试数据集上进行了详细的图像分类实验，证明了我们方法的功效。

    Mar, 2024

  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • 无遗忘的高效测试时间模型自适应

    本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。 同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

    Apr, 2022

  • 动态野外环境中稳定的测试时适应性

    论文通过分析测试样本及训练数据的分配差异，发现批处理层对测试时间调整法的不稳定性有重要影响。作者提出了一种基于群组及层规范化的调整稳定方法，并提出一种名为 SAR 的方法，通过消除嘈杂测试样本及鼓励模型权重保持平稳的最小值，从两个方面进一步稳定 TTA，效果比先前方法更稳定，且在上述野外测试方案下计算效率更高。

    Feb, 2023

  • 连续测试时间适应中源知识的有效恢复

    通过无监督领域变化检测方法，该论文解决了传统测试时适应方法在动态环境中适应连续变化的目标分布时所面临的挑战，包括之前学习的有价值源知识的灾难性遗忘和由于错误标签的错误校准而导致的渐进性误差积累问题。

    Nov, 2023

  • 通过权重集成、多样性加权和先验校正实现通用的测试时适应

    本文提出了一种名为 ROID 的方法，该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段，解决了在线测试时自适应的问题，以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估，并在普遍 TTA 领域取得了新的标准。

    Jun, 2023

  • 少即是多：持续测试时间适应的伪标签过滤

    在测试阶段无需访问源数据，连续测试时适应 (CTTA) 旨在将预训练模型调整到一系列目标领域。为了适应未知领域的无标签数据，现有方法依赖于为所有样本构建伪标签并通过自我训练来更新模型。然而，这些伪标签往往包含噪声，导致适应不足。为了提高伪标签的质量，我们提出了一种 CTTA 的伪标签选择方法，称为 Pseudo Labeling Filter (PLF)。PLF 的关键思想是为伪标签持续选择适当的阈值，并识别可靠的伪标签用于自我训练。具体而言，我们提出了连续领域学习中设置阈值的三个原则，包括初始化、增长和多样性。基于这些原则，我们设计出了自适应阈值方法来过滤伪标签。此外，我们引入了一种类先验对齐方法来鼓励模型对未知领域样本进行多样化预测。通过大量实验证明，PLF 优于当前最先进的方法，证明了其在 CTTA 中的有效性。

    Jun, 2024