Sep, 2023

快速网络调整：利用测试时反馈学习适应神经网络

PDF
TL;DR提出了一种适应神经网络在测试时分布发生变化的方法，通过闭环系统和测试时反馈信号来在实时中进行网络的适应，该方法使用基于学习的函数来实现很好的效果，使适应比基准方法更加灵活和快捷。
neural networkstest-timeadaptationrapid network adaptationdistribution shifts
发现论文，激发创造
  • 通过适应和增强检测时间鲁棒性

    本文提出了一种简单的方法，在没有模型训练过程的任何假设的情况下，通过在测试数据点上执行不同的数据增强并通过最小化平均输出分布的熵来适应模型参数，从而提高模型的鲁棒性。该方法在多个基准测试中都表现出色，并在 ImageNet-C、ImageNet-R 和 ImageNet-A 分布偏移基准测试中实现了最先进的结果。

    Oct, 2021

  • 通道选择性归一化的标签偏移稳定测试时自适应

    通过有选择性地调整深度神经网络中的通道，以降低对标签分布的敏感性，我们在三个分类任务中应用了这一方法，并发现它在减少其他方法的失败风险的同时，能够显著提高测试时间自适应的效果，同时对超参数的选择具有鲁棒性。

    Feb, 2024

  • 通过置信度最大化和输入变换对分布偏移进行测试时间适应

    该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

    Jun, 2021

  • 全测试时间适应的神经调制 Hebbian 学习

    本文研究了深度神经网络领域中跨域性能退化问题，提出了一种基于完全测试时间自适应方法来提高网络适应性能的方法，其中采用了软式 Hebbian 学习过程和反馈神经调节层来辅助在线适应。实验结果表明，该方法可以显著改善网络模型的适应性能并超越现有的最新方法。

    Mar, 2023

  • TeST: 分布偏移下的测试时自训练

    该篇论文提出了一种 Test-Time Self-Training（TeST）技术，通过使用学生 - 老师结构学习不变和强鲁棒性表示来适应新的分布，进而提高模型在分布变化的测试时期的适应性，其结果显示，与现代域自适应算法相比，使用 TeST 的模型在目标检测和图像分割上达到了最新的测试时间域适应算法的最优水平。

    Sep, 2022

  • 图像分类中针对分布偏移的实时适应性评估

    通过建立一个基准测试来评估和比较测试时间调整方法在提高模型稳健性和泛化性能方面的有效性，我们提供了一个可靠的评估方式，并探索了不同测试时间调整方法与不同网络骨干的兼容性。

    Jul, 2023

  • 一种概率框架的终身测试适应性

    PETAL 是一种基于概率视角和部分数据相关先验的测试时间自适应方法，利用 Fisher 信息矩阵的数据驱动模型参数重置机制应对非平稳目标领域转移，实验结果表明 PETAL 在多个基准测试数据集中表现出更好的预测性能和不确定性指标。

    Dec, 2022

  • 有条件偏移神经元的快速适应

    描述了一种人工神经网络能够学习快速适应新任务的机制，称为条件移位神经元，并将其应用在元学习中以实现机器学习的某些灵活性，从任务经验收集的特定位移修改神经元的激活值。在视觉和语言领域的元学习基准测试中，增强了条件移位神经元的模型实现了最先进的结果。

    Dec, 2017

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • 连续动态场景下的广义鲁棒测试时间自适应

    在测试期间，通过使用未标记的测试数据流独占地对预先训练的模型进行适应，测试时间适应（TTA）在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应（PTTA）设置，并提出了一种广义鲁棒的测试时间适应（GRoTTA）方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本，实验表明 GRoTTA 在 PTTA 设置下明显优于现有竞争对手，有助于在实际应用中采用。

    Oct, 2023