Apr, 2023

重访在线评估下的测试时间适应

PDF
TL;DR该论文提出了一种新颖的在线评估协议，用于对测试时间自适应（TTA）方法进行评估，通过为较慢的方法提供更少的自适应样本来惩罚它们。我们将该协议应用于多个数据集和场景中，评估了几种 TTA 方法，并表明当考虑推理速度时，简单快速的方法可以胜过更复杂但较慢的方法。
发现论文，激发创造
  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • 图像分类中针对分布偏移的实时适应性评估

    通过建立一个基准测试来评估和比较测试时间调整方法在提高模型稳健性和泛化性能方面的有效性，我们提供了一个可靠的评估方式，并探索了不同测试时间调整方法与不同网络骨干的兼容性。

    Jul, 2023

  • 关于测试时适应性的陷阱

    本文提出了针对测试时间适应（TTA）的测试基准 TTAB，通过实验表明：在线批次依赖性使得选择适当的超参数尤其是选择模型极为困难，TTA 的有效性取决于模型的质量和属性，并且即使在最优算法条件下，现有方法也无法处理所有常见类型的分布转移，因此需要在更广泛的模型和转移集上进行严格评估和重新审视 TTA 的实证成功条件。

    Jun, 2023

  • 可靠的测试时间适应性通过线上协议

    通过对测试数据的自适应方法（TTA）进行评估和校准，解决了分布转移时的困难，同时提出了关于 OOD 准确性估计和超参数调整的可靠方法。

    Oct, 2023

  • 动态场景下的鲁棒性测试时间适应

    本研究提出了一种适用于实际测试数据流的鲁棒测试时间自适应方法，其中包括批量归一化方案、内存库和师生模型，能够稳定地应用于动态实际应用场景中。

    Mar, 2023

  • 连续动态场景下的广义鲁棒测试时间自适应

    在测试期间，通过使用未标记的测试数据流独占地对预先训练的模型进行适应，测试时间适应（TTA）在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应（PTTA）设置，并提出了一种广义鲁棒的测试时间适应（GRoTTA）方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本，实验表明 GRoTTA 在 PTTA 设置下明显优于现有竞争对手，有助于在实际应用中采用。

    Oct, 2023

  • 无遗忘的高效测试时间模型自适应

    本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。 同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

    Apr, 2022

  • SoTTA：嘈杂数据流上的鲁棒测试时适应

    通过高置信度统一类别采样实现输入层面的健壮性和通过熵 - 锐度最小化提高模型参数对噪声样本大梯度的健壮性，我们提出了一种对噪声样本具有鲁棒性的新颖的测试时适应性算法（SoTTA），在各种噪声场景下，我们的方法优于基准测试时适应性方法，并在没有噪声样本的情况下达到可比较的准确度。

    Oct, 2023

  • 寻找失落的在线测试时间自适应：一项调查

    本研究综述了在线测试时间适应（OTTA）的全貌，着重研究机器学习模型在新数据分布上的适应能力。通过将 OTTA 技术归类为三个主要类别，并使用强大的 Vision Transformer（ViT）基础模型进行基准测试，我们揭示了真正有效的策略。同时，引入了新的评估指标以衡量在在线场景中的效率和适应精确度与计算开销之间的权衡。研究结果表明，变换器表现出对不同领域转换的高度弹性，很多 OTTA 方法的功效取决于充足的批次大小，并且在适应过程中对优化的稳定性和对干扰的抵抗力至关重要，特别是在批次大小为 1 的情况下。基于这些发现，我们指出了未来研究的有希望的方向。源代码将会公开。

    Oct, 2023

  • 主动测试时间适应：理论分析与算法

    使用主动学习在完全的测试时间适应设置中，通过限制标记测试实例的数量，提高测试领域之间的整体性能，同时避免灾难性遗忘，从而在测试时间适应（TTA）下解决领域偏移的问题。

    Apr, 2024