Nov, 2023

测试时自适应视觉与语言导航

PDF
TL;DR通过快慢测试时适应（FSTTA）方法，解决视觉语言导航（VLN）模型的适应性与稳定性困境，实现模型的快速自适应和稳定回归，获得卓越的性能提升。
vision-and-language navigationtest-time adaptationgeneralization abilityadaptability-stability dilemmafast-slow test-time adaptation
发现论文，激发创造
  • 视觉语言模型易于执行时适应的令人沮丧的测试

    研究表明，零温度的 TTA 方法（ZERO）能够在只进行一次前向传播的情况下，准确性大大超过或与现有技术相当，且速度约为 10 倍快，内存占用约为 13 倍少。

    May, 2024

  • 高效的视觉语言模型测试时间自适应

    TDA 是一种训练 - free 的动态适配器，通过轻量级的键值缓存和逐步的伪标签细化，以及引入负伪标签，实现了有效和高效的测试时自适应。

    Mar, 2024

  • 低层次视觉语言导航的多模态注意力网络

    本文提出了一种基于全注意力机制的低层 VLN 架构，用于实现跨多个模态的长期路径规划，其中包括自然语言、图像和代理人的低级行为控制，实验结果表明其在两个数据集上均获得了良好的性能。

    Nov, 2019

  • 动态场景下的鲁棒性测试时间适应

    本研究提出了一种适用于实际测试数据流的鲁棒测试时间自适应方法，其中包括批量归一化方案、内存库和师生模型，能够稳定地应用于动态实际应用场景中。

    Mar, 2023

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • TTA-Nav: 测试时自适应恢复点目标导航在视觉损坏下

    通过测试时适应 (TTA) 方法，我们的研究提出了一种名为 TTA-Nav 的机器人视觉导航方法，在视觉失真条件下进行目标导向的导航。我们的方法通过将自顶向下解码器与预训练导航模型结合，从失真图像中提取特征，重建较干净的图像，并使导航模型能够在各种视觉失真环境中显著提高导航性能。该方法将目标导向的导航成功率从最先进结果的 46% 提高到 94%，表明其在机器人视觉导航领域具有广泛应用的潜力。

    Mar, 2024

  • 借助最近邻信息的自我训练实现测试时间适应

    提出了一种新的测试时间自适应方法 Test-time Adaptation via Self-Training with nearest neighbor information (TAST)，其利用最近邻信息生成伪标签并通过自训练进行分类，能够在领域一般化和图像破坏等方面取得优于现有方法的性能。

    Jul, 2022

  • AR-TTA：一种用于现实世界中连续测试时适应的简单方法

    提出了一种名为 AR-TTA 的方法，该方法在自主驾驶领域中进行了测试时间适应，以处理不同程度的领域转变，并在维护源模型知识和适应动态变化的数据流方面表现优越。

    Sep, 2023

  • 视觉文档理解的测试时间适应性

    文章介绍了一种新的文档测试时间自适应方法，利用跨模态自监督学习和伪标记来使源域的模型适应测试时未标记的目标域，并在各种视觉文档理解任务中提升效果。

    Jun, 2022

  • 连续动态场景下的广义鲁棒测试时间自适应

    在测试期间，通过使用未标记的测试数据流独占地对预先训练的模型进行适应，测试时间适应（TTA）在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应（PTTA）设置，并提出了一种广义鲁棒的测试时间适应（GRoTTA）方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本，实验表明 GRoTTA 在 PTTA 设置下明显优于现有竞争对手，有助于在实际应用中采用。

    Oct, 2023