TTN:测试时间适应中考虑领域变化的批量归一化
通过仅操作 BN 层以减少学习干扰和提高域知识学习,结合自我监督学习提供监督,以及使用元学习强制辅助分支与主分支目标对齐的双层优化,我们的方法在五个真实领域转移数据集上优于其他方法。
Dec, 2023
测试时间适应(TTA)已成为解决测试数据训练和测试之间意外分布变化导致性能下降的有希望的方法。本研究提出中位数批归一化(MedBN)来应对 TTA 中的恶意示例对模型造成的潜在威胁,通过在测试推理期间的批归一化层中利用中位数来进行统计估计。我们的实验结果表明,MedBN 在维护不同攻击场景下的鲁棒性表现方面优于现有方法,且在无攻击情况下仍能保持良好的性能。
Mar, 2024
本文提出了一种基于 alpha-BN 的测试时间适应框架 Core,通过混合源和目标统计信息来校准批次统计量以缓解域漂移并保留区分结构。实验证明我们的方法在包括图像分类和语义分割的三个主题的 12 个数据集上实现了最先进的性能。特别地,在没有任何训练的情况下,我们的 alpha-BN 改进了 28.4%至 43.9%,甚至超过了最新的源无关域自适应方法。
Oct, 2021
通过有选择性地调整深度神经网络中的通道,以降低对标签分布的敏感性,我们在三个分类任务中应用了这一方法,并发现它在减少其他方法的失败风险的同时,能够显著提高测试时间自适应的效果,同时对超参数的选择具有鲁棒性。
Feb, 2024
通过在测试时进行领域适应,提出了一种抗干扰的实用测试时间适应(ResiTTA)方法,用于解决模型退化和数据质量问题。利用鲁棒批量归一化方法和软对齐策略缓解过拟合和模型退化,并采用熵驱动的记忆库存储高质量数据。通过教师 - 学生模型和自学习损失对模型进行周期性的适应,最终在多个基准数据集上取得了最先进的性能。
Jan, 2024
本文提出了一种称为自适应批量归一化(AdaBN)的方法来提高深度神经网络的泛化能力,无需额外组件或参数,并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。
Mar, 2016
本研究提出了一种新的人员再辨识(re-id)框架 ——Batch Norm Test-time Adaption(BNTA),它使用自监督策略自适应地更新 Batch normalization(BN)参数,通过两个辅助任务:部分定位和最近邻匹配,挖掘与部分结构和身份相关的领域感知信息,并调节经过 BN 规范化的特征分布以适应目标域,从而在三个再识别数据集上证明了该方法的卓越性能。
Mar, 2022
本文通过分析批量归一化技术中与类相关和与类无关的特征,将源域和测试域的统计数据进行组合,从而鲁棒地表征目标分布,并提出了针对动态测试时间适应的第一种无需反向传播的方法 DYN,该方法通过实例归一化统计量鉴别相似样本并进行聚类,以提供一致的与类无关表示。实验结果验证了 DYN 的鲁棒性和有效性,并展示了在动态数据流模式下维持性能的能力。
Jun, 2024
该研究论文探讨了小批量数据受损的问题,通过揭示批量归一化的不准确目标统计数据主要源于小批量中大幅减少的类别多样性,引入了一种简单的工具 Test-time Exponential Moving Average (TEMA),以弥补训练和测试批次之间的类别多样性差距,进而提高准确的目标估计,在不需要训练或调参的情况下显著提高模型的鲁棒性。
Dec, 2023
本文提出了一种简单而有效的方法,可以在测试期间估算批量标准化统计量以快速适应目标测试样本,并提出两种新的评估设置,避免对大量在线批次的依赖并能够仅通过单个样本估算准确的批量标准化统计量。该方法在测试时间自适应任务的新提出的设置中明显优于现有方法,并且在其他设置中也有所改进。
Oct, 2021