May, 2024

通过专家混合实现激活稀疏性分解用于持续测试时间适应

PDF
TL;DR利用 Mixture-of-Activation-Sparsity-Experts 将神经激活分解为高激活和低激活成分，结合领域信息和自适应特征选择阈值，通过引入 Homeostatic-Proximal 损失解决了模型连续适应中的问题，从而在分类和分割任务中达到了最先进的性能。
continual test-time adaptationvision modelsmixture-of-activation-sparsity-expertsneural activationhomeostatic-proximal loss
发现论文，激发创造
  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • 自适应分布遮蔽自编码器用于持续测试时自适应

    提出了持续测试时间适应（CTTA），用于将源预训练模型迁移到不断变化的目标分布，以应对现实世界的动态变化。通过构建适应性分布遮罩自编码器（ADMA）来提取目标领域知识并缓解分布转移累积的问题，实验结果表明在分类和分割 CTTA 任务中达到了最先进的性能。

    Dec, 2023

  • 面向语义分割的分布感知持续测试时间适应

    我们提出了一种分布感知调优 (DAT) 方法，通过数据分布选择和更新训练参数，以使连续测试时间适应 (CTTA) 在实际应用中变得高效和实用，该方法在两个广泛使用的语义分割 CTTA 基准测试上取得了优异的性能。

    Sep, 2023

  • PALM: 推动自适应学习率机制以进行连续的测试时间自适应

    通过在不依赖于伪标签的情况下，通过模型预测不确定性的量化来识别层，以克服先前方法的局限性；在 CIFAR-10C、CIFAR-100C 和 ImageNet-C 等标准测试数据集上进行了详细的图像分类实验，证明了我们方法的功效。

    Mar, 2024

  • 探索连续变化环境中目标检测的测试时适应

    CTAOD 通过使用 mean-teacher 框架并引入对象级对比学习模块、动态阈值策略和数据驱动的随机恢复机制，在处理不断变化的目标域中提高检测模型性能，实验结果显示在对象检测的四个 CTTA 任务中，CTAOD 优于现有方法，尤其在 Cityscapes-to-Cityscapes-C CTTA 任务上提高了 3.0 mAP。

    Jun, 2024

  • BECoTTA：针对输入的在线专家混合用于持续测试时间适应

    这篇论文提出了 BECoTTA，一个对连续未见域进行输入依赖型的高效适应的框架，其中包含了领域自适应路由和领域专家协同损失等核心组件，并验证了其相对于多种 CTTA 情景的优越性和仅需要 98% 较少可训练参数的需求。

    Feb, 2024

  • 参数选择性持续测试时间适应

    本文引入了 Parameter-Selective Mean Teacher (PSMT) 方法，通过选择性的蒸馏机制在学生模型中利用过去知识对新知识进行正则化，以减轻错误积累的影响；同时，在教师模型中通过 Fisher 信息创建掩码来有选择性地更新参数，并应用保存措施于关键参数，以避免灾难性遗忘，实验证实 PSMT 在多个基准数据集上优于现有方法。

    Jul, 2024

  • 可控的持续测试时间自适应

    通过引入一种新颖的方法，即 C-CoTTA，它明确防止任何单个类别侵占其他类别，从而减轻不可控转换引起的各类别之间的相互影响，减少模型对领域转换的敏感性，从而降低类别转变的程度。

    May, 2024

  • 稀疏激活的专家混合模型是具有鲁棒性的多任务学习器

    使用稀疏激活的专家混合模型和任务感知门控函数结合的多任务学习方法，成功地提高了模型泛化能力、转移学习效果和鲁棒性。

    Apr, 2022

  • 一种基于专家混合的三维人体动作预测方法

    本研究通过复制现有的最先进（SOTA）时空转换器模型，以尽可能符合计算限制，并批判性评估现有模型架构的优势和改进机会，以解决实时推理速度挑战，并在空间 - 时间 (ST) 关注层中引入专家混合 (MoE) 块来提高模型容量和降低推理成本。

    May, 2024