Jul, 2022

学习一种进化的混合模型用于任务自由的连续学习

PDF
TL;DR本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。
continual learningdeep learning modelstask-free continual learningevolved mixture modelmemory diversity
发现论文，激发创造
  • 双重扰动的无任务持续学习

    通过考虑未来样本和注入敌对扰动，我们提出了一种新的 TF-CL 框架，并通过在输入数据和决策过程中注入敌对扰动的方法实现了这一框架，通过采用记忆管理方案和学习率调度进一步提高性能。

    Dec, 2023

  • 一种神经狄利克雷过程混合模型用于无任务连续学习

    该论文提出了 Continual Neural Dirichlet Process Mixture (CN-DPM) 模型，并基于该模型提出了基于扩展方法的无任务连续学习方法，成功地将其应用于图像分类和图像生成等区别性和生成性任务的场景中。

    Jan, 2020

  • 通过在线差异距离学习实现无任务持续学习

    本文提出了一种新的理论分析框架，给出了基于任务自由连续学习中访问样本与整个信息之间差异距离的归纳界限，并提出了使用动态组件扩展机制的新方法 - ODDL，以保证具有最佳性能的紧凑网络结构，同时提出了一种基于差异度量的样本选择方法，通过提高性能证明了该方法的卓越表现。

    Oct, 2022

  • 通过分布稳健的记忆演化来提升无任务连续学习

    本研究提出了一种基于分布鲁棒优化和 Wasserstein 梯度流的原则性记忆演化框架，用于动态演化内存数据分布，以提高连续学习系统对非平稳数据流的适应性。同时，实验结果表明该方法能够提供更高的鲁棒性和抗干扰性，是一种有效防止遗忘的连续学习方法。

    Jul, 2022

  • 非先验条件下，野外未标记数据的持续学习

    基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

    Oct, 2023

  • 互动式连续学习：快思和慢思

    基于互动持续学习框架，使用大型语言模型与记忆检索机制，以及模型之间的协作交互，实现抵抗遗忘和优越性能的持续学习。

    Mar, 2024

  • 在线污染数据流模糊任务边界下的连续学习

    本文提出了一种在在线学习任务中应对标签噪声和模糊数据流的方法，该方法使用标签噪声感知的多样化采样和半监督学习技术来平衡示例中的多样性和纯度，实验证明该方法显著优于现有的方法。

    Mar, 2022

  • 利用模块化网络与任务驱动 先验知识实现高效连续学习

    本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

    Dec, 2020

  • 异质性持续学习

    本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中进行的评估表明，与现有方法相比，在各种网络架构上的准确性都有显着提高。

    Jun, 2023

  • 超网络的持续学习

    本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

    Jun, 2019