重塑在线数据缓冲和整理机制以实现持续测试时间适应
本研究提出一种新的测试时间适应方案,该方案主要通过实例感知批量归一化(IABN)和预测平衡库采样(PBRS)增强模型对非独立同分布数据流的鲁棒性。在各种数据集(包括真实世界的非独立同分布流)上的评估表明,所提出的鲁棒TTA不仅在非独立同分布环境下优于现有方法,而且在独立同分布假设下也能达到同等性能。
Aug, 2022
PETAL是一种基于概率视角和部分数据相关先验的测试时间自适应方法,利用Fisher信息矩阵的数据驱动模型参数重置机制应对非平稳目标领域转移,实验结果表明PETAL在多个基准测试数据集中表现出更好的预测性能和不确定性指标。
Dec, 2022
本文提出了一个简单而有效的方法,以在内存效率的前提下改善持续的测试时间适应性的执行,该方法主要可在具有有限内存的边缘设备上进行,通过减少内存的使用量来实现。该方法包括两个组件,一个是可以在目标领域中将冻结的原始网络适应的轻量级元网络,第二个是我们的新型自我蒸馏正则化,它可以控制元网络的输出不显著偏离冻结的原始网络的输出,从而保留源域中的良好训练知识,因此即使在长期的测试时间适应过程中,没有额外的存储器,这种正则化也可以防止错误积累和灾难性遗忘,从而实现稳定的性能。我们展示了我们的方法在各种图像分类和语义分割任务的基准测试上优于其他最新方法,其中,我们提出的使用ResNet-50和WideResNet-40的方法比最新的CoTTA方法少使用了86%和80%的内存。
Mar, 2023
通过无监督领域变化检测方法,该论文解决了传统测试时适应方法在动态环境中适应连续变化的目标分布时所面临的挑战,包括之前学习的有价值源知识的灾难性遗忘和由于错误标签的错误校准而导致的渐进性误差积累问题。
Nov, 2023
分布偏移往往在模型部署后发生,导致模型性能严重下降。本文提出了一种多样性感知和类别平衡的缓冲区,可以模拟非独立同分布的数据流,并结合多样性和熵加权熵损失,在ImageNet基础上实现了对各种破坏和自然领域偏移的稳定适应,并取得了最新的研究进展。
Jan, 2024
本文介绍了VCoTTA,这是一种变分贝叶斯方法,用于在Continual Test-Time Adaptation(CTTA)中测量不确定性,并且该方法通过组合源模型和教师模型的先验来更新学生模型,实验证明该方法在减轻CTTA框架内的先验漂移方面的有效性。
Feb, 2024
这篇论文提出了BECoTTA,一个对连续未见域进行输入依赖型的高效适应的框架,其中包含了领域自适应路由和领域专家协同损失等核心组件,并验证了其相对于多种CTTA情景的优越性和仅需要98%较少可训练参数的需求。
Feb, 2024
本文研究了在不断变化的目标领域中将源预训练模型适应的困难任务,发现源模型对目标数据流分布的不断改变表现出高度偏向的预测,本文提出了一种解决偏见问题的方法,并在现有的连续测试时间适应方法基础上取得了显著的性能提升,而适应时间开销并不大。
Mar, 2024
通过引入一种新颖的方法,即C-CoTTA,它明确防止任何单个类别侵占其他类别,从而减轻不可控转换引起的各类别之间的相互影响,减少模型对领域转换的敏感性,从而降低类别转变的程度。
May, 2024
本文引入了Parameter-Selective Mean Teacher (PSMT)方法,通过选择性的蒸馏机制在学生模型中利用过去知识对新知识进行正则化,以减轻错误积累的影响;同时,在教师模型中通过Fisher信息创建掩码来有选择性地更新参数,并应用保存措施于关键参数,以避免灾难性遗忘,实验证实PSMT在多个基准数据集上优于现有方法。
Jul, 2024