该论文提出了 Diana:基于动态架构的终生 QA 模型,使用不同层次的提示捕获 QA 知识,特别是为了处理未见的任务。经过广泛实验证明,Diana 在处理未见任务方面优于现有的终身 QA 模型。
Aug, 2022
LIBERO 是一个新的机器人操作的终身学习基准,提出了五个核心研究主题: (1)如何有效地传递申明性知识、程序性知识或两者混合;(2)如何设计有效的政策架构和决策算法;(3)终身学习与任务排序的关系;(4)模型预训练对终身学习的影响;(5)如何在终身学习中进行 Sample efficient learning
Jun, 2023
本研究提出了一种基于条件 VAE 的新型 PCLL 方法,通过加入任务统计信息来增强生成式回放并引导伪样本生成,从而改善 LL 模型训练,实验证明相比其他竞争基线方法,PCLL 在建立 LL 模型方面表现显着优异。
Oct, 2022
本研究提出了 S-Prompting 范式和两种方法,通过独立学习提示,从而高度减少领域增量学习(DIL)中的遗忘程度,实现了深度神经网络在连续学习中一个最典型的场景 -- 领域增量学习(DIL)中的最佳表现。
Jul, 2022
大语言模型(LLMs)中的终身学习可以不断地适应和学习新知识,并通过持续预训练、持续微调和模型扩展等技术来提高模型的适应性和性能。
Jun, 2024
在少样本情况下,本文提出了一种带提示和动态演示的语言模型(LM-PDD)来解决自然语言推理生成任务问题,该方法在 SNLI 和 MNLI 数据集上比标准微调模型有着 8% 的平均绝对改进,并且在 13 种自然语言分类任务上表现良好,可以用于数据增强和可控文本生成。
May, 2022
研究人员在机器学习和自然语言理解方面的不懈探索中探讨了基于对话的语言学习,发现预测前瞻是一种有前途的学习策略,并表明它可以在没有奖励监督的情况下正确地回答问题。
Apr, 2016
本文提出一个高效的元学习框架,将终身学习的三个普遍原则相结合,以有效地训练同时避免灾难性遗忘和负迁移,并达到与多任务学习相当的性能。
Oct, 2020
通过使用知识图谱增强任务特定的训练程序,我们提出了 KnowledgeDA 作为一个统一而低代码的领域语言模型开发服务,实现了两个领域的语言模型学习,并进行了五项领域特定 NLP 任务的实验证明。
Dec, 2022
DynaMind 是一种新颖的连续学习框架,旨在解决大语言模型(LLMs)的训练困难、知识融入问题,并提高输出准确性。通过引入记忆机制和模块化操作符,DynaMind 能够有效克服这些挑战。
Oct, 2023