continual pretraining | BriefGPT

关键词continual pretraining

搜索结果 - 8

面向大型语言模型的终身学习：一项调查
大语言模型（LLMs）中的终身学习可以不断地适应和学习新知识，并通过持续预训练、持续微调和模型扩展等技术来提高模型的适应性和性能。
PDF24 days ago
Yi：01.AI 的开放基础模型
我们介绍了 Yi 模型系列，这是一系列展现出强大多维能力的语言和多模态模型。我们的基础模型在 MMLU 等多个基准测试中取得了强大的性能，我们的微调聊天模型在 AlpacaEval 和 Chatbot Arena 等主要评估平台上展现了强大
PDF4 months ago
面向扩展语言模型至 128K 上下文的数据工程
本研究探讨使用持续预训练重现将语言模型的上下文长度扩展到 128K，重点关注数据工程。我们假设长篇背景建模，特别是 “能够在任意输入位置利用信息” 的能力在大规模预训练中已经获得，而且这种能力可以通过对适当数据混合进行轻量级持续预训练来延伸
PDF5 months ago
自动数学文本：利用语言模型进行数学文本的自主数据选择
通过利用基础语言模型进行自主数据选择，改进语言模型在数学推理方面的能力，我们引入了一种创新的策略。该策略利用元提示语言模型作为零 - shot 验证器，自主评估和选择高质量的数学内容。我们发布了一个经过筛选的开源 AutoMathText
PDF5 months ago
CBEAF-Adapting: 增强型持续预训练用于构建中文生物医学语言模型
本论文介绍了一种连续预训练方法，称为 CBEAF-Adapting，它的主要思想是在每个自注意力层和前馈网络中引入少量注意头和隐藏单元，有效地解决了领域适应中序列任务训练造成的遗忘问题，以中国生物医学领域为例进行了实验，结果表明我们的方法能
PDF2 years ago
AAAI讲话标记可以增强情感分析语言模型
本文研究使用情感搭载的话语标记产生大规模弱标记数据并利用此数据训练与情感分析更好契合的连续预训练模型，以提高零标记和少样本情况下的性能表现，并在多项基准数据集上进行了广泛的实验，包括金融领域。
PDF2 years ago
ACL终身预训练：持续适应新出现的语料库的语言模型
本研究通过使用不同的持续学习算法对预先训练的语言模型进行不断的增量预训练，并通过评估模型对新数据的适应能力以及对早期数据所学知识的保留能力来研究生命周期语言模型预训练挑战，结果表明采用基于蒸馏的方法可以最有效地保留早期领域的下游任务性能。这
PDF3 years ago
EMNLP通过新颖数据增强和课程学习提高对比学习效率
EfficientCL 是一种内存高效的持续预训练方法，通过对比学习和新颖的数据增强和课程学习来实现。在 GLUE 基准测试上，与基准模型相比，该模型的表现更好，尤其是在句子级任务上，并且只需要与基准模型相比仅有 70% 的计算内存。
PDF3 years ago