ICCVAug, 2023

关于开放世界测试时间训练的鲁棒性：使用动态原型扩展的自训练

PDF
TL;DR提出了一种改进测试时间训练 / 适应的方法，通过自我训练和数据分离增强开放世界测试时间训练（OWTTT）的鲁棒性，在 5 个 OWTTT 基准测试上实现了最先进的性能。
test-time training/adaptationunknown target domain distributiontest-time training performanceopen-world test-time trainingself-training ttt method
发现论文，激发创造
  • 领域泛化的改进测试时适应

    本文提出了一种改进的测试时间自适应方法（ITTA），通过引入一个可学习的一致性损失，用于更新辅助测试任务，并且只在测试阶段更新可训练参数，从而解决了域泛化中分布偏移问题，实验表明，该方法在多个评估基准上具有卓越的性能。

    Apr, 2023

  • 通过权重集成、多样性加权和先验校正实现通用的测试时适应

    本文提出了一种名为 ROID 的方法，该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段，解决了在线测试时自适应的问题，以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估，并在普遍 TTA 领域取得了新的标准。

    Jun, 2023

  • 利用上下文重写提高黑盒稳健性

    机器学习模型在数据内部（ID）上表现出色，但在未见过的数据外部（OOD）输入上存在困难。本研究提出了一种名为 LLM-TTA 的技术，通过基于 LLM 生成的增强方法来改善 BERT 和 T5 模型在情感、毒性和新闻分类任务上的 OOD 鲁棒性，同时减少了生成的增强数量。该技术不受任务模型结构限制，无需 OOD 标签，在低资源和高资源环境下都有效。

    Feb, 2024

  • 通过锚定聚类重新审视真实测试时间的连续推断和自适应训练

    本文提出一种测试时训练（test-time training）的方法用于部署深度神经网络模型在不同域中数据的适配过程，其中采用实际顺序的 test-time anchored clustering（TTAC）协议来进行强化测试时间的特征学习，最终在六个测试数据集中超越其他已有的测试时训练方法。

    Jun, 2022

  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • 可靠的测试时间适应性的解耦原型学习

    通过提出 Decoupled Prototype Learning (DPL) 方法，本研究解决了使用伪标签进行交叉熵损失微调时容易受到标签噪声影响的问题，并引入了基于内存的策略增强小批量处理的鲁棒性，在遇到不确定伪标签的样本时，使用一致性正则化方法转移特征风格以提高测试时自适应（TTA）的可靠性。实验结果表明，我们的方法在领域泛化基准上取得了最先进的性能，并可靠提高图像破坏基准上基于自训练方法的性能。

    Jan, 2024

  • ClusT3: 信息不变的测试时间训练

    深度学习模型在各种视觉任务中展现出卓越的性能，但它们常常容易受到测试时的领域转移所影响。为了缓解这些脆弱性，已经开发了测试时训练（TTT）方法，在训练时同时解决了主任务和次要任务，以在测试时作为自监督代理任务。在本文中，我们提出了一种基于多尺度特征图和离散潜在表示之间相互信息最大化的新型无监督 TTT 技术，它可以作为一项辅助聚类任务整合到标准训练中。实验结果表明，在不同的常见测试时适应基准上具有竞争力的分类性能。

    Oct, 2023

  • 提升开放世界转换中声学基础模型的测试时适应能力

    本论文研究了面对开放世界数据变化的预训练声学模型的测试时间适应方法，通过引入无启发式、基于学习的自适应方法并结合置信度提升以及在测试时间优化中应用一致性规范化，证明了该方法在合成和真实数据集上的优越性。

    Oct, 2023

  • ATTA：面向分割领域中的异常感知测试时间适应

    本研究提出了一种双层离群分布检测框架，可同时处理领域漂移和语义漂移，通过全局低层特征和密集高层特征图来区分领域漂移和语义漂移，并能够选择性地调整模型以适应未知领域，并提高在检测新类别方面的效果。在多个离群分割基准测试中验证了所提出方法的有效性，包括存在显著领域漂移和不存在领域漂移的情况下，观察到各种基准模型的持续性性能改进。

    Sep, 2023