Apr, 2024

仅通过前向传播进行测试时间模型适应

PDF
TL;DR测试时间自适应是一种有效的方法，用于将经过训练的模型适配于具有潜在分布偏移的未见测试样本。为了应对资源有限的设备上的实际场景，我们提出了一种新的前向适应方法，它通过衍生自由的协方差矩阵适应进化策略来学习新添加的提示（作为模型输入），并设计了一种激活迁移方案，通过调整模型激活使其与源域对齐，进一步增强适应性能。
test-time adaptationresource-limited devicesforward-only adaptationactivation shifting schememodel activation
发现论文，激发创造
  • 无遗忘的高效测试时间模型自适应

    本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。 同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

    Apr, 2022

  • 无遗忘的不确定性校准的测试时间模型适应

    测试时间适应 (Test-time adaptation，TTA) 在适应给定模型到任何测试样本，以解决训练与测试数据之间的潜在分布差异。然而，现有方法在每个测试样本上执行反向传播，导致对许多应用而言无法承受的优化成本，并且现有的 TTA 在无分布数据上可以显著提高测试性能，但在分布数据上经常遭受严重的性能退化（即遗忘）。为了解决这个问题，我们提出了一种高效的抗遗忘测试时间适应（Efficient Anti-Forgetting Test-Time Adaptation，EATA）方法，该方法通过开发主动样本选择准则来识别可靠且非冗余的测试样本，以实现测试时间熵的最小化。为了减轻遗忘，EATA 引入了一种从测试样本估计的 Fisher 正则化约束重要模型参数以防止剧烈变化的方法。然而，在 EATA 中，采用的熵损失通常将更高的置信度分配给不确定的样本，导致过度自信的预测。为了解决这个问题，我们进一步提出了用校准（Calibration）的 EATA（EATA-C）来分别利用可减小的模型不确定性和固有数据不确定性进行校准的 TTA。具体来说，我们通过完整网络和其子网络之间的预测差异来衡量模型不确定性，为此我们提出了一种差异损失来鼓励一致的预测而不是过度自信的预测。为了进一步重新校准预测置信度，我们利用预测标签之间的差异作为数据不确定性的指标，然后设计了一种最小最大熵正则化器来有选择地增加和减小不同样本的预测置信度。图像分类和语义分割的实验验证了我们方法的有效性。

    Mar, 2024

  • BaFTA：零样本视觉语言模型的无反向传播测试时适应

    我们提出了一种名为 BaFTA 的新型零样本学习算法，通过在投影嵌入空间中使用在线聚类来估计类别质心并动态地聚合预测，从而在效果和效率上持续优于最先进的测试时间自适应方法。

    Jun, 2024

  • 无需参数的在线测试时间自适应

    为了使现有的视觉模型适应于不同的下游场景，本文探讨了在线测试时间自适应方法在各种真实世界场景下的表现，并针对该方法的局限性提出了一种特别保守的方法 —— 使用 LAME 目标来解决问题，并通过高效的凸凹过程求解该目标，从而使其在场景中表现更佳。

    Jan, 2022

  • 寻找失落的在线测试时间自适应：一项调查

    本研究综述了在线测试时间适应（OTTA）的全貌，着重研究机器学习模型在新数据分布上的适应能力。通过将 OTTA 技术归类为三个主要类别，并使用强大的 Vision Transformer（ViT）基础模型进行基准测试，我们揭示了真正有效的策略。同时，引入了新的评估指标以衡量在在线场景中的效率和适应精确度与计算开销之间的权衡。研究结果表明，变换器表现出对不同领域转换的高度弹性，很多 OTTA 方法的功效取决于充足的批次大小，并且在适应过程中对优化的稳定性和对干扰的抵抗力至关重要，特别是在批次大小为 1 的情况下。基于这些发现，我们指出了未来研究的有希望的方向。源代码将会公开。

    Oct, 2023

  • 面向跨人活动识别的无需优化的测试时间适应

    本文提出了一种无需优化的测试时适应（OFTTA）框架，用于基于传感器的人体活动识别（HAR），通过使用指数衰减测试时归一化（EDTN）和基于特征和原型之间的距离的分类器更新方法，OFTTA 能够在分类性能和计算效率方面超越最先进的测试时适应方法。

    Oct, 2023

  • 无模型的测试时间适应用于外域检测

    利用在线测试样本进行模型自适应，从而降低假阳性率，进而提高异常检测性能。

    Nov, 2023

  • 一种概率框架的终身测试适应性

    PETAL 是一种基于概率视角和部分数据相关先验的测试时间自适应方法，利用 Fisher 信息矩阵的数据驱动模型参数重置机制应对非平稳目标领域转移，实验结果表明 PETAL 在多个基准测试数据集中表现出更好的预测性能和不确定性指标。

    Dec, 2022

  • 通过测试时类条件特征对齐使视觉 Transformer 获得稳健性

    研究了 Vision Transformer 图像处理中测试时间适应技术，证明了 TTA 对 ViT 有效并且在使用适当的损失函数时不存在先前惯例，提出了一种称为类条件特征对齐（CFA）的新测试时间适应方法，并证明了其在多个数据集上超越了现有基线的最新结果。

    Jun, 2022

  • 提升开放世界转换中声学基础模型的测试时适应能力

    本论文研究了面对开放世界数据变化的预训练声学模型的测试时间适应方法，通过引入无启发式、基于学习的自适应方法并结合置信度提升以及在测试时间优化中应用一致性规范化，证明了该方法在合成和真实数据集上的优越性。

    Oct, 2023