GraphTTA: 图神经网络测试时间自适应
本研究提出了第一个用于 GNN 的测试时间训练框架,主要包括一种新颖的测试时间训练策略和自监督学习方法,以提高模型的泛化能力,并在基准数据集上进行了实验,证明了该框架的有效性,特别是在训练集与测试集之间存在分布偏移时。同时,研究者还通过探索性研究和理论分析来深入了解了 GT3 框架的设计合理性。
Oct, 2022
在测试期间,通过使用未标记的测试数据流独占地对预先训练的模型进行适应,测试时间适应(TTA)在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应(PTTA)设置,并提出了一种广义鲁棒的测试时间适应(GRoTTA)方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本,实验表明 GRoTTA 在 PTTA 设置下明显优于现有竞争对手,有助于在实际应用中采用。
Oct, 2023
我们提出了一种新颖的测试时训练(LLMTTT)流程,借助大型语言模型作为注释者,在精心选择的节点集上进行图上的测试时适应,从而相对于现有的超出分布泛化方法,获得显著的性能提升。
Apr, 2024
本文提出了一种改进的测试时间自适应方法(ITTA),通过引入一个可学习的一致性损失,用于更新辅助测试任务,并且只在测试阶段更新可训练参数,从而解决了域泛化中分布偏移问题,实验表明,该方法在多个评估基准上具有卓越的性能。
Apr, 2023
本次研究调查了测试时间适应(TTA)在机器学习中的应用与优化方法。针对不同的学习场景,研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类,总结了高级算法的分类方法,探讨了 TTA 的应用与未来研究的挑战。
Mar, 2023
通过建立一个基准测试来评估和比较测试时间调整方法在提高模型稳健性和泛化性能方面的有效性,我们提供了一个可靠的评估方式,并探索了不同测试时间调整方法与不同网络骨干的兼容性。
Jul, 2023
本研究提出了一种主动样本选择的准则,以确定可靠和不冗余的样本,从而使模型更新以最小化测试时适应的熵损失。 同时,引入了一个 Fisher 正则化器,约束重要的模型参数使其不会发生剧烈变化,从而缓解 “灾难性遗忘” 的问题。
Apr, 2022
本文研究了针对分布漂移进行测试时间自适应(TTA)的方法,在各种函数类中元学习 TTA loss 能够迅速获得与熵函数类似的 loss 函数,并基于最优 loss 函数提供了更好的 TTA 方法。同时,在新型的 supervised training loss 函数中,我们的方法也显示了优异的表现,为改善测试时间自适应提供了广阔的框架。
Jul, 2022