具备鲁棒性的均值教师用于连续和逐步的测试时适应
提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法,在长期内实现了所有神经网络参数的适应,同时有效避免了疾病遗忘和噪声伪标签带来的错误积累,该方法处理的问题主要集中在测试时间域适应和深度学习等领域。
Mar, 2022
本文引入了 Parameter-Selective Mean Teacher (PSMT) 方法,通过选择性的蒸馏机制在学生模型中利用过去知识对新知识进行正则化,以减轻错误积累的影响;同时,在教师模型中通过 Fisher 信息创建掩码来有选择性地更新参数,并应用保存措施于关键参数,以避免灾难性遗忘,实验证实 PSMT 在多个基准数据集上优于现有方法。
Jul, 2024
通过无监督领域变化检测方法,该论文解决了传统测试时适应方法在动态环境中适应连续变化的目标分布时所面临的挑战,包括之前学习的有价值源知识的灾难性遗忘和由于错误标签的错误校准而导致的渐进性误差积累问题。
Nov, 2023
在测试期间,通过使用未标记的测试数据流独占地对预先训练的模型进行适应,测试时间适应(TTA)在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应(PTTA)设置,并提出了一种广义鲁棒的测试时间适应(GRoTTA)方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本,实验表明 GRoTTA 在 PTTA 设置下明显优于现有竞争对手,有助于在实际应用中采用。
Oct, 2023
本文提出了一种名为 ROID 的方法,该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段,解决了在线测试时自适应的问题,以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估,并在普遍 TTA 领域取得了新的标准。
Jun, 2023
本文介绍了 VCoTTA,这是一种变分贝叶斯方法,用于在 Continual Test-Time Adaptation(CTTA)中测量不确定性,并且该方法通过组合源模型和教师模型的先验来更新学生模型,实验证明该方法在减轻 CTTA 框架内的先验漂移方面的有效性。
Feb, 2024
本文研究了在不断变化的目标领域中将源预训练模型适应的困难任务,发现源模型对目标数据流分布的不断改变表现出高度偏向的预测,本文提出了一种解决偏见问题的方法,并在现有的连续测试时间适应方法基础上取得了显著的性能提升,而适应时间开销并不大。
Mar, 2024
通过在不依赖于伪标签的情况下,通过模型预测不确定性的量化来识别层,以克服先前方法的局限性;在 CIFAR-10C、CIFAR-100C 和 ImageNet-C 等标准测试数据集上进行了详细的图像分类实验,证明了我们方法的功效。
Mar, 2024
TTA 技术在连续变化的扰动下的性能表现正在被热烈关注,我们提出了连续变化扰动基准(CCC)来测试 TTA 技术的渐近性能,并发现当前的 TTA 方法在避免崩溃和超越预训练模型方面的效果并不明显,实验表明简单的重置策略(RDumb)在所有考虑的基准测试中表现更好或不逊于之前提出的先进技术。
Jun, 2023
本文提出了一种改进的测试时间自适应方法(ITTA),通过引入一个可学习的一致性损失,用于更新辅助测试任务,并且只在测试阶段更新可训练参数,从而解决了域泛化中分布偏移问题,实验表明,该方法在多个评估基准上具有卓越的性能。
Apr, 2023