Oct, 2023

ClusT3: 信息不变的测试时间训练

PDF
TL;DR深度学习模型在各种视觉任务中展现出卓越的性能，但它们常常容易受到测试时的领域转移所影响。为了缓解这些脆弱性，已经开发了测试时训练（TTT）方法，在训练时同时解决了主任务和次要任务，以在测试时作为自监督代理任务。在本文中，我们提出了一种基于多尺度特征图和离散潜在表示之间相互信息最大化的新型无监督 TTT 技术，它可以作为一项辅助聚类任务整合到标准训练中。实验结果表明，在不同的常见测试时适应基准上具有竞争力的分类性能。
发现论文，激发创造
  • NC-TTT：一种用于测试时间训练的噪音对比方法

    通过鉴别噪声特征图，学习对投射特征图的噪声视图进行分类，从而在新的领域上正确调整模型，本研究提出了基于噪声对比测试时间训练（NC-TTT）的一种新的无监督测试时间训练技术，实验证明了我们方法在这一任务上相对于最近的方法的优势。

    Apr, 2024

  • 通过锚定聚类重新审视真实测试时间的连续推断和自适应训练

    本文提出一种测试时训练（test-time training）的方法用于部署深度神经网络模型在不同域中数据的适配过程，其中采用实际顺序的 test-time anchored clustering（TTAC）协议来进行强化测试时间的特征学习，最终在六个测试数据集中超越其他已有的测试时训练方法。

    Jun, 2022

  • 领域泛化的改进测试时适应

    本文提出了一种改进的测试时间自适应方法（ITTA），通过引入一个可学习的一致性损失，用于更新辅助测试任务，并且只在测试阶段更新可训练参数，从而解决了域泛化中分布偏移问题，实验表明，该方法在多个评估基准上具有卓越的性能。

    Apr, 2023

  • 测试时间自适应的特征对齐和统一性

    该研究探讨了测试时间自适应的方法，使用特征修正、自我蒸馏以及空间本地化聚类等技术，提高了医学图像分割任务的性能，进一步提高了现有测试时间适应方法的性能表现。

    Mar, 2023

  • TeST: 分布偏移下的测试时自训练

    该篇论文提出了一种 Test-Time Self-Training（TeST）技术，通过使用学生 - 老师结构学习不变和强鲁棒性表示来适应新的分布，进而提高模型在分布变化的测试时期的适应性，其结果显示，与现代域自适应算法相比，使用 TeST 的模型在目标检测和图像分割上达到了最新的测试时间域适应算法的最优水平。

    Sep, 2022

  • TTTFlow: 无监督测试时间训练与正态流

    该论文提出了一种用于图像分类的深度神经网络方法，通过测试时训练和无监督学习实现领域自适应，并在实验中证明了该方法相对于之前方法的优势。

    Oct, 2022

  • 借助最近邻信息的自我训练实现测试时间适应

    提出了一种新的测试时间自适应方法 Test-time Adaptation via Self-Training with nearest neighbor information (TAST)，其利用最近邻信息生成伪标签并通过自训练进行分类，能够在领域一般化和图像破坏等方面取得优于现有方法的性能。

    Jul, 2022

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • 视频流的测试时间训练

    本文研究了在线测试时训练（Online TTT）的方法，通过在视频帧上应用自我监督模型来扩展测试时训练的范畴，并提出了在线 TTT 方法，该方法比离线 TTT 方法在特定情况下取得了更好的实验效果。

    Jul, 2023

  • MT3: 自监督测试时适应的元测试时间训练

    利用 Meta Test-Time Training 的方式结合 Meta-learning 和 Self-supervised Learning，来使深度神经网络在测试时能够应对域漂移的问题，从而提高其在 CIFAR-10-Corrupted 图像分类基准测试中的表现。

    Mar, 2021