lifelong language learning | BriefGPT

关键词lifelong language learning

搜索结果 - 6

ACL终身语言学习中选择性记忆群体有多大相关性？
本文探讨了稀疏经验回放对于对抗灾难性遗忘的长期语言学习的作用，特别是对于文本分类和问答任务中的样本采样策略对于模型性能的影响。作者发现，在随机存储整个数据流中的均匀数量的样本的方法下，模型表现高，特别适用低存储容量的情况，这与计算机视觉研究
PDF2 years ago
COLING问一问先行，增强终身语言学习能力
本文提出了一种名为 AQF-RQ 的新型学习方法，包括一种新的数据格式以及一种训练任务，使模型更容易生成与先前任务相对应的伪数据，并在分界清晰和不清晰的情况下对伪数据更具鲁棒性，可以实现与多任务学习只有 0.36％左右的性能差距。
PDF2 years ago
RVAE-LAMOL：用残差变分自编码器提升终身语言学习
利用残差变分自编码器（RVAE）将不同任务映射为有限的统一语义空间，系统地提出一种新的方法 —— 交替差分训练，以解决 LLMOL 遗忘的问题，并通过对 DecaNLP 三个数据集的排列进行实验，证明 RVAE-LAMOL 优于单纯的 LA
PDF2 years ago
ICLRLFPT5：基于 T5 提示调整的终身 Few-shot 语言学习统一框架
本论文提出了一种基于 T5 模型的统一框架 LFPT5，它可以在少量标注样本的情况下解决 Lifelong Few-shot Language Learning 问题，通过生成伪样本、在新领域中训练以及最小化 KL 散度损失实现了对之前学习
PDF3 years ago
EMNLP终身语言知识蒸馏
提出了一种名为 Lifelong Language Knowledge Distillation（L2KD）的方法来解决流式任务（stream of different tasks） LLL 中的性能降低问题，通过一个教师模型来将新任务的知
PDF4 years ago
终身语言学习中的情景记忆
提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认
PDF5 years ago