Feb, 2024

跨领域连续学习

PDF
TL;DR本研究提出了一种名为交叉领域连续学习（CDCL）的新方法，在一个紧凑的卷积网络中结合了跨任务关注机制，实现了对先前任务特征的对齐，并在相关领域之间进行了无监督的交叉领域学习（UDA）。通过使用一种任务内特定的伪标签方法，确保了有标签和无标签样本的准确输入对，从而增强了学习过程。本方法在公开的 UDA 数据集上进行了广泛实验，显示出在交叉领域连续学习挑战上的良好性能。此外，本研究提出了增量思想，为该领域的进展做出了贡献。
continual learningcross-domain continual learninginter-task cross-attention mechanismsunsupervised cross-domainincremental ideas
发现论文，激发创造
  • 克服在线连续学习中的领域漂移

    本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

    May, 2024

  • 跨领域连续学习的 CLAMP 方法

    我们在这篇文章中提出了一种名为 CLAMP 的跨领域持续学习方法，它集成了一种类感知对抗领域自适应策略，以在复杂变化环境中实现单一模型的部署，避免了额外的标注成本，并且在理论分析和大量实验证明中取得了至少 10% 的显著性优于现有基准算法的效果。

    May, 2024

  • 跨域对比学习用于无监督域自适应

    该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估， 这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。

    Jun, 2021

  • 推进视觉语言模型的领域间辨识性在连续学习中

    利用回归分析的增量学习和跨领域任务无关增量学习方法，保持视觉 - 语言模型的零 - shot 能力和在多领域下的性能。

    Jun, 2024

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 领域混淆对比学习用于无监督领域自适应

    本文介绍了一种自主学习方法的无监督域自适应技术，即 Domain Confused Contrastive Learning（DCCL），旨在通过域拼图来构建源域和目标域之间的桥梁，并在适应后保留有区分性的表示。此外，作者还探讨了在进行其他数据增强时，对比学习是否有助于 UDA。实验表明，DCCL 的表现显著优于基线。

    Jul, 2022

  • 渐变正则化对比学习，用于连续领域适应

    本研究旨在解决深度神经网络在动态环境下机器学习算法中的持续领域适应问题。为此，我们提出了 Gradient Regularized Contrastive Learning (GRCL) 并在 Digits、DomainNet 和 Office-Caltech 基准测试中证明了其在比较其他最新方法时的强大性能。

    Mar, 2021

  • 渐变正则化对比学习用于连续领域适应

    研究 AI 模型在连续领域适应中所遇到的领域转换和灾难性遗忘等问题，并提出了基于 Gradient Regularized Contrastive Learning 的方法来解决这些问题，实验结果表明该方法在 Digits, DomainNet and Office-Caltech 基准测试中表现优越。

    Jul, 2020

  • 大规模个性化领域分类的持续学习

    本文提出基于神经网络的 CoNDA 方法，支持新类别的增量学习，以改进个性化动态信息融入在智能个人数字助手中的领域分类问题，并在现有和增量添加的新领域上实现高准确性和超越对比基准的结果。

    May, 2019

  • CoLeCLIP：通过联合任务提示和词汇学习实现开放域持续学习

    本文探讨了在开放领域中视觉语言模型的持续学习问题，介绍了一种名为 CoLeCLIP 的新方法，通过联合学习任务提示和跨领域类别词汇来解决开放领域持续学习中的挑战，实验证明 CoLeCLIP 在开放领域持续学习中超过了最先进的方法。

    Mar, 2024