Dec, 2022

一种概率框架的终身测试适应性

PDF
TL;DRPETAL 是一种基于概率视角和部分数据相关先验的测试时间自适应方法，利用 Fisher 信息矩阵的数据驱动模型参数重置机制应对非平稳目标领域转移，实验结果表明 PETAL 在多个基准测试数据集中表现出更好的预测性能和不确定性指标。
test-time adaptationnon-stationary target domain shiftprobabilistic perspectivefisher information matrixonline lifelong testing
发现论文，激发创造
  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • 连续测试时间适应中源知识的有效恢复

    通过无监督领域变化检测方法，该论文解决了传统测试时适应方法在动态环境中适应连续变化的目标分布时所面临的挑战，包括之前学习的有价值源知识的灾难性遗忘和由于错误标签的错误校准而导致的渐进性误差积累问题。

    Nov, 2023

  • 自适应测试时个性化的联邦学习

    通过自适应学习算法（ATP）从分布变化中学习模型适应速率，测试时间个性化联合学习（TTPFL）方法优于传统的测试时间适应方法（TTA），适用于处理各种分布变化的数据集和模型架构。

    Oct, 2023

  • 无需参数的在线测试时间自适应

    为了使现有的视觉模型适应于不同的下游场景，本文探讨了在线测试时间自适应方法在各种真实世界场景下的表现，并针对该方法的局限性提出了一种特别保守的方法 —— 使用 LAME 目标来解决问题，并通过高效的凸凹过程求解该目标，从而使其在场景中表现更佳。

    Jan, 2022

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • PALM: 推动自适应学习率机制以进行连续的测试时间自适应

    通过在不依赖于伪标签的情况下，通过模型预测不确定性的量化来识别层，以克服先前方法的局限性；在 CIFAR-10C、CIFAR-100C 和 ImageNet-C 等标准测试数据集上进行了详细的图像分类实验，证明了我们方法的功效。

    Mar, 2024

  • 无遗忘的高效测试时间模型自适应

    本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。 同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

    Apr, 2022

  • 降低噪声：通过伪标签集成利用扩散模型进行测试时自适应

    利用预训练的扩散模型将目标领域图像投影到源领域，并通过伪标签集成迭代更新模型的方法，将模型适应和输入适应的优势相结合，从而减轻它们的缺点。在 CIFAR-10C 上的实验表明，我们的方法优于最强基线平均 1.7％，比最强的输入适应基线平均高出 18％。

    Nov, 2023

  • 非平稳测试时间适应的逐层自动加权

    采用 Fisher 信息矩阵为基础的算法，通过引入逐层自动加权的方法，实现在不断变化的目标分布环境中的模型自适应，以减少遗忘和错误积累，并大大降低计算负载。

    Nov, 2023

  • 通过权重集成、多样性加权和先验校正实现通用的测试时适应

    本文提出了一种名为 ROID 的方法，该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段，解决了在线测试时自适应的问题，以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估，并在普遍 TTA 领域取得了新的标准。

    Jun, 2023