Feb, 2024

分析序列组成对语言模型预训练的影响

PDF
TL;DR将相关文档连接起来并使用内部文档因果掩模，可以提高语言模型的性能，并通过 BM25Chunk 方法改善语境学习、知识记忆和上下文利用能力。
language model pre-trainingcausal maskingintra-document causal maskingconcatenating related documentsefficient retrieval-based sequence construction
发现论文，激发创造
  • 上下文预训练：超越文档边界的语言建模

    大型语言模型通过 In-Context 预训练，在处理涉及相关文档的任务时，能够显著提高性能，包括复杂的语境推理、长文本推理、检索增强等。

    Oct, 2023

  • 减少截断改善语言建模

    通过我们提出的 Best-fit Packing 方法，我们能够在保持训练效率的同时，完全消除了不必要的截断，并显著提高了模型的性能。

    Apr, 2024

  • 数据集分解：使用可变序列长度课程进行更快的 LLM 训练

    通过数据集分解、变长序列训练技术、性能增强等方法，实现了对大型语言模型的高效训练和提升。

    May, 2024

  • 上下文感知机器翻译的序列缩短

    在此研究中，我们展示了一种特殊情况的多编码器架构，其中源句子的潜在表示被缓存并在下一步中被重复使用作为上下文，这在对比数据集上实现了更高的准确度，并且与单编码器和多编码器方法相比具有相可比的 BLEU 和 COMET 分数。此外，我们还研究了将序列缩短应用于缓存表示的方法，我们测试了三种基于汇聚的缩短技术，并引入了两种新方法 - 潜在分组和潜在选择，其中网络学习将标记分组或选择为上下文进行缓存。我们的实验结果表明，这两种方法在对比数据集上达到了与其他测试方法相当的 BLEU 和 COMET 分数和准确度，同时可能具有更高的可解释性，并在上下文大小增加时减少了内存需求的增长。

    Feb, 2024

  • 语言建模的组合方法

    本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

    Apr, 2016

  • 给白板上色：预训练赋予序列到序列模型分层归纳偏置

    本文通过使用预训练的 seq2seq 模型，探究其是否能够在句法变换中进行层次化泛化，同时还证明了从未经注释的自然语言文本中可以学习到分层句法信息，_SEQ2SEQ 模型具有句法泛化能力，但需要比人类学习者接收更多的语言数据才能达到该能力_。

    Mar, 2022

  • 大型语言模型中的指导位置在序列生成中的作用

    通过改变任务指令在输入句子之后的位置，我们提出了一种增强大型语言模型的指令遵循功能的方法，该方法可以显著改善条件序列生成的零样本性能。

    Aug, 2023

  • 通过互斥训练和基本增强引导组合性

    本文分析了 seq2seq 模型在系统化泛化能力方面的缺失，并提出了两种技术对其进行改进：互斥性训练和数据增强。这些技术的应用在常用的组合数据集（SCAN 和 COGS）中实现了显著的实证改进，并提供了进一步的分析和细节的方法探究。

    Nov, 2022

  • 面具更多，面具更晚：通过分解 [MASK] 令牌实现有效的遮蔽语言模型预训练

    在预训练过程中追加 [MASK] 可以降低较早层的序列长度，从而在减少计算预算的前提下，提高 RoBERTa 模型的预训练效率，同时在 GLUE 基准测试中表现更好。

    Nov, 2022

  • MASS: 面向语言生成的遮掩序列到序列预训练

    该论文介绍了 MASS 作为一种在 encoder-decoder 架构下的自然语言生成前预训练方法，通过在随机遮掩的句子中构建代表性提取和语言建模能力，再在文本生成、翻译及会话生成等多个语言生成任务中进行进一步微调，以获得比其他无预训练模型和其他预训练方法更加出色的表现。

    May, 2019