Jul, 2024

全面测试时间自适应的动态在线数据流分布对齐

HTML
PDF
TL;DR给定源数据训练的模型，测试时间自适应（TTA）能够适应带有领域变化的测试数据流，并实现推理。我们提出了一种新的分布对齐损失函数，将测试时间特征的分布引导回源分布，确保与训练充分的源模型兼容并消除冲突的优化目标的问题，同时设计了一种领域转移检测机制，以在持续领域转移场景中提高我们所提出的TTA方法的成功率。通过广泛的实验证实了我们方法的逻辑和有效性，在六个基准数据集上，在非独立同分布的情况下超过现有方法，并在理想独立同分布假设下保持竞争性的性能。
发现论文，激发创造
  • 鲁棒连续测试时间调整对抗时间相关性

    本研究提出一种新的测试时间适应方案，该方案主要通过实例感知批量归一化(IABN)和预测平衡库采样(PBRS)增强模型对非独立同分布数据流的鲁棒性。在各种数据集（包括真实世界的非独立同分布流）上的评估表明，所提出的鲁棒TTA不仅在非独立同分布环境下优于现有方法，而且在独立同分布假设下也能达到同等性能。

    Aug, 2022

  • 动态野外环境中稳定的测试时适应性

    论文通过分析测试样本及训练数据的分配差异，发现批处理层对测试时间调整法的不稳定性有重要影响。作者提出了一种基于群组及层规范化的调整稳定方法，并提出一种名为SAR的方法，通过消除嘈杂测试样本及鼓励模型权重保持平稳的最小值，从两个方面进一步稳定TTA，效果比先前方法更稳定，且在上述野外测试方案下计算效率更高。

    Feb, 2023

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了TTA的应用与未来研究的挑战。

    Mar, 2023

  • 通过权重集成、多样性加权和先验校正实现通用的测试时适应

    本文提出了一种名为 ROID 的方法，该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段，解决了在线测试时自适应的问题，以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估，并在普遍 TTA 领域取得了新的标准。

    Jun, 2023

  • 关于测试时适应性的陷阱

    本文提出了针对测试时间适应（TTA）的测试基准TTAB，通过实验表明：在线批次依赖性使得选择适当的超参数尤其是选择模型极为困难，TTA的有效性取决于模型的质量和属性，并且即使在最优算法条件下，现有方法也无法处理所有常见类型的分布转移，因此需要在更广泛的模型和转移集上进行严格评估和重新审视TTA的实证成功条件。

    Jun, 2023

  • 针对协变量和标签偏移的测试时间调整器

    我们提出了一种新的标签偏移适应器，可以有效地处理标签偏移，并通过将其与测试时适应方法相结合来实现显著的性能改进。

    Aug, 2023

  • 全面测试时间适应的汇编技巧

    全面测试时间适应(TTA)旨在使模型适应数据漂移，最近引起了广泛的兴趣。我们提供了选择的正交TTA技术的分类，并对其对不同情景的影响进行了细致分析。我们揭示了这些技术在准确性、计算能力和模型复杂性之间产生的权衡，并发现了将技术结合起来产生的协同效应，从而取得了新的最先进结果。

    Oct, 2023

  • 连续动态场景下的广义鲁棒测试时间自适应

    在测试期间，通过使用未标记的测试数据流独占地对预先训练的模型进行适应，测试时间适应（TTA）在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应（PTTA）设置，并提出了一种广义鲁棒的测试时间适应（GRoTTA）方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本，实验表明GRoTTA在PTTA设置下明显优于现有竞争对手，有助于在实际应用中采用。

    Oct, 2023

  • 可靠的测试时间适应性通过线上协议

    通过对测试数据的自适应方法（TTA）进行评估和校准，解决了分布转移时的困难，同时提出了关于OOD准确性估计和超参数调整的可靠方法。

    Oct, 2023

  • 连续测试时间适应中源知识的有效恢复

    通过无监督领域变化检测方法，该论文解决了传统测试时适应方法在动态环境中适应连续变化的目标分布时所面临的挑战，包括之前学习的有价值源知识的灾难性遗忘和由于错误标签的错误校准而导致的渐进性误差积累问题。

    Nov, 2023