AdaNPC: 探索用于测试时间适应的非参数分类器
本篇研究提出了基于测试熵最小化(TENT)的完全测试时间自适应模型,通过优化其预测熵来提高分类性能,该方法在多个数据集上均取得了最先进的成果。
Jun, 2020
本研究提出了一种主动样本选择的准则,以确定可靠和不冗余的样本,从而使模型更新以最小化测试时适应的熵损失。 同时,引入了一个Fisher正则化器,约束重要的模型参数使其不会发生剧烈变化,从而缓解“灾难性遗忘”的问题。
Apr, 2022
本文研究了针对分布漂移进行测试时间自适应(TTA)的方法,在各种函数类中元学习TTA loss能够迅速获得与熵函数类似的loss函数,并基于最优loss函数提供了更好的TTA方法。同时,在新型的supervised training loss函数中,我们的方法也显示了优异的表现,为改善测试时间自适应提供了广阔的框架。
Jul, 2022
本研究提出了一种基于能量的样本适应方法,通过将看不见的目标样本适应到源训练模型上,实现领域泛化分类,并通过引入分类潜变量和能量最小化等手段,有效地实现了对样本的量化表示。
Feb, 2023
本次研究调查了测试时间适应(TTA)在机器学习中的应用与优化方法。针对不同的学习场景,研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类,总结了高级算法的分类方法,探讨了TTA的应用与未来研究的挑战。
Mar, 2023
本文提出了一种改进的测试时间自适应方法(ITTA),通过引入一个可学习的一致性损失,用于更新辅助测试任务,并且只在测试阶段更新可训练参数,从而解决了域泛化中分布偏移问题,实验表明,该方法在多个评估基准上具有卓越的性能。
Apr, 2023
通过 AdaMixBN 模块和广义熵最小化 (GEM) 损失函数,本论文提出了一种名为 DomainAdaptor 的统一方法,用于进行测试时的适应学习,以最大限度地挖掘测试数据中的信息,并解决训练和测试样本之间的领域偏移问题,从而在四个基准测试中稳定超过现有方法,尤其在少量数据的未知领域中带来了更显著的改进。
Aug, 2023
通过提出Decoupled Prototype Learning (DPL)方法,本研究解决了使用伪标签进行交叉熵损失微调时容易受到标签噪声影响的问题,并引入了基于内存的策略增强小批量处理的鲁棒性,在遇到不确定伪标签的样本时,使用一致性正则化方法转移特征风格以提高测试时自适应(TTA)的可靠性。实验结果表明,我们的方法在领域泛化基准上取得了最先进的性能,并可靠提高图像破坏基准上基于自训练方法的性能。
Jan, 2024
本研究针对机器学习算法在测试样本分布偏离训练样本分布时所面临的挑战,提出了一种新的测试时适应学习范式,结合了领域适应和领域泛化的优点。通过对400多篇相关论文的系统性回顾,本文将现有方法分类为五个类别,并深入分析其在分布变化评估及实际应用中的有效性,展望了测试时适应的研究机会。
Nov, 2024