分布偏移下测试时间适应的综合调查
本研究提出了一种主动样本选择的准则,以确定可靠和不冗余的样本,从而使模型更新以最小化测试时适应的熵损失。 同时,引入了一个Fisher正则化器,约束重要的模型参数使其不会发生剧烈变化,从而缓解“灾难性遗忘”的问题。
Apr, 2022
论文通过分析测试样本及训练数据的分配差异,发现批处理层对测试时间调整法的不稳定性有重要影响。作者提出了一种基于群组及层规范化的调整稳定方法,并提出一种名为SAR的方法,通过消除嘈杂测试样本及鼓励模型权重保持平稳的最小值,从两个方面进一步稳定TTA,效果比先前方法更稳定,且在上述野外测试方案下计算效率更高。
Feb, 2023
本文提出了一种名为 ROID 的方法,该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段,解决了在线测试时自适应的问题,以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估,并在普遍 TTA 领域取得了新的标准。
Jun, 2023
本文提出了针对测试时间适应(TTA)的测试基准TTAB,通过实验表明:在线批次依赖性使得选择适当的超参数尤其是选择模型极为困难,TTA的有效性取决于模型的质量和属性,并且即使在最优算法条件下,现有方法也无法处理所有常见类型的分布转移,因此需要在更广泛的模型和转移集上进行严格评估和重新审视TTA的实证成功条件。
Jun, 2023
全面测试时间适应(TTA)旨在使模型适应数据漂移,最近引起了广泛的兴趣。我们提供了选择的正交TTA技术的分类,并对其对不同情景的影响进行了细致分析。我们揭示了这些技术在准确性、计算能力和模型复杂性之间产生的权衡,并发现了将技术结合起来产生的协同效应,从而取得了新的最先进结果。
Oct, 2023
在测试期间,通过使用未标记的测试数据流独占地对预先训练的模型进行适应,测试时间适应(TTA)在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应(PTTA)设置,并提出了一种广义鲁棒的测试时间适应(GRoTTA)方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本,实验表明GRoTTA在PTTA设置下明显优于现有竞争对手,有助于在实际应用中采用。
Oct, 2023
给定源数据训练的模型,测试时间自适应(TTA)能够适应带有领域变化的测试数据流,并实现推理。我们提出了一种新的分布对齐损失函数,将测试时间特征的分布引导回源分布,确保与训练充分的源模型兼容并消除冲突的优化目标的问题,同时设计了一种领域转移检测机制,以在持续领域转移场景中提高我们所提出的TTA方法的成功率。通过广泛的实验证实了我们方法的逻辑和有效性,在六个基准数据集上,在非独立同分布的情况下超过现有方法,并在理想独立同分布假设下保持竞争性的性能。
Jul, 2024
本研究针对机器学习算法在测试样本分布偏离训练样本分布时所面临的挑战,提出了一种新的测试时适应学习范式,结合了领域适应和领域泛化的优点。通过对400多篇相关论文的系统性回顾,本文将现有方法分类为五个类别,并深入分析其在分布变化评估及实际应用中的有效性,展望了测试时适应的研究机会。
Nov, 2024