测试时间自适应与状态空间模型
本文提出了一种简单而有效的方法,可以在测试期间估算批量标准化统计量以快速适应目标测试样本,并提出两种新的评估设置,避免对大量在线批次的依赖并能够仅通过单个样本估算准确的批量标准化统计量。该方法在测试时间自适应任务的新提出的设置中明显优于现有方法,并且在其他设置中也有所改进。
Oct, 2021
本研究提出一种新的测试时间适应方案,该方案主要通过实例感知批量归一化(IABN)和预测平衡库采样(PBRS)增强模型对非独立同分布数据流的鲁棒性。在各种数据集(包括真实世界的非独立同分布流)上的评估表明,所提出的鲁棒TTA不仅在非独立同分布环境下优于现有方法,而且在独立同分布假设下也能达到同等性能。
Aug, 2022
PETAL是一种基于概率视角和部分数据相关先验的测试时间自适应方法,利用Fisher信息矩阵的数据驱动模型参数重置机制应对非平稳目标领域转移,实验结果表明PETAL在多个基准测试数据集中表现出更好的预测性能和不确定性指标。
Dec, 2022
论文通过分析测试样本及训练数据的分配差异,发现批处理层对测试时间调整法的不稳定性有重要影响。作者提出了一种基于群组及层规范化的调整稳定方法,并提出一种名为SAR的方法,通过消除嘈杂测试样本及鼓励模型权重保持平稳的最小值,从两个方面进一步稳定TTA,效果比先前方法更稳定,且在上述野外测试方案下计算效率更高。
Feb, 2023
本次研究调查了测试时间适应(TTA)在机器学习中的应用与优化方法。针对不同的学习场景,研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类,总结了高级算法的分类方法,探讨了TTA的应用与未来研究的挑战。
Mar, 2023
本文提出了针对测试时间适应(TTA)的测试基准TTAB,通过实验表明:在线批次依赖性使得选择适当的超参数尤其是选择模型极为困难,TTA的有效性取决于模型的质量和属性,并且即使在最优算法条件下,现有方法也无法处理所有常见类型的分布转移,因此需要在更广泛的模型和转移集上进行严格评估和重新审视TTA的实证成功条件。
Jun, 2023
在测试期间,通过使用未标记的测试数据流独占地对预先训练的模型进行适应,测试时间适应(TTA)在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应(PTTA)设置,并提出了一种广义鲁棒的测试时间适应(GRoTTA)方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本,实验表明GRoTTA在PTTA设置下明显优于现有竞争对手,有助于在实际应用中采用。
Oct, 2023
通过无监督领域变化检测方法,该论文解决了传统测试时适应方法在动态环境中适应连续变化的目标分布时所面临的挑战,包括之前学习的有价值源知识的灾难性遗忘和由于错误标签的错误校准而导致的渐进性误差积累问题。
Nov, 2023
该研究论文探讨了小批量数据受损的问题,通过揭示批量归一化的不准确目标统计数据主要源于小批量中大幅减少的类别多样性,引入了一种简单的工具Test-time Exponential Moving Average (TEMA),以弥补训练和测试批次之间的类别多样性差距,进而提高准确的目标估计,在不需要训练或调参的情况下显著提高模型的鲁棒性。
Dec, 2023
给定源数据训练的模型,测试时间自适应(TTA)能够适应带有领域变化的测试数据流,并实现推理。我们提出了一种新的分布对齐损失函数,将测试时间特征的分布引导回源分布,确保与训练充分的源模型兼容并消除冲突的优化目标的问题,同时设计了一种领域转移检测机制,以在持续领域转移场景中提高我们所提出的TTA方法的成功率。通过广泛的实验证实了我们方法的逻辑和有效性,在六个基准数据集上,在非独立同分布的情况下超过现有方法,并在理想独立同分布假设下保持竞争性的性能。
Jul, 2024