通过多令牌预测实现更好、更快的大型语言模型

Apr, 2024

通过多令牌预测实现更好、更快的大型语言模型

Better & Faster Large Language Models via Multi-token Prediction

Fabian Gloeckle, Badr Youbi Idrissi, Baptiste Rozière, David Lopez-Paz, Gabriel Synnaeve

TL;DR我们建议通过训练语言模型来预测多个未来标记，以提高样本利用效率，并对其下游能力进行改进，特别是在多词预测作为辅助训练任务时，在代码和自然语言生成模型方面获得了显著的改善。

Abstract

Large language models such as GPT and Llama are trained with a next-token prediction loss. In this work, we suggest that training language models to predict multiple future tokens at once results in higher

language models multi-token prediction sample efficiency downstream capabilities algorithmic reasoning

发现论文，激发创造

GPT：下一个 Token 预测是否足够？对代码逻辑理解的探索

大型语言模型的研究着重于提升预训练数据的规模和质量，而目前对于其真正理解代码逻辑的任务效果仍然存在疑问。本文提出了一种新的任务，即 “逻辑等效代码选择”，证明了当前的大型语言模型在这一任务中表现不佳，并提出了预训练任务 “下一个标记预测 +” 来改善其性能，实验证明该方法对于逻辑等效代码的选择和代码补全任务有显著的改进。

Apr, 2024

大型语言模型是零 - shot 时间序列预测器

通过将时间序列编码为数字字符串，我们可以将时间序列预测视为文本中的下一个标记预测。我们发现，大型语言模型（LLMs）如 GPT-3 和 LLaMA-2 可以意外地在零样本外推时间序列，其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能，我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为，LLMs 对于时间序列的成功源于它们能够自然地表示多模态分布，结合了对简洁性和重复性的偏好，这与许多时间序列的显著特征（如重复季节性趋势）相一致。我们还展示了 LLMs 如何自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们展示了由于 GPT-4 如何令牌化数字以及较差的不确定性校准，它可能比 GPT-3 表现更差，这很可能是因为诸如 RLHF 之类的对齐干预的结果。

Oct, 2023

mGPT: 少样本学习器转向多语言

本文介绍了两种自回归 GPT 类模型，使用维基百科和 Colossal Clean Crawled Corpus 训练了 60 种语言、25 种语言系的搜索，展示了多种任务上的表现，包括分类、生成、序列标记和知识探测，在多语种任务上有着与 Facebook 最近发布的 XGLM 模型相媲美的表现。

Apr, 2022

语言模型：少样本多语言学习者

通过对 GPT 和 T5 模型进行跨语言分类，本论文发现预训练模型在少量英语样本的情况下可以预测非英语测试样本，且在跨语言预测方面表现显著优于随机预测，并与现有的最先进的跨语言模型具有竞争力。

Sep, 2021

通过隐式分类将令人印象深刻的 LMM 生成文本识别为令牌预测

本文介绍了一种新颖的方法，用于识别可能参与文本生成的大规模语言模型（LLMs）。我们采用了一种将分类任务重新构建为下一个标记预测任务的方法，并直接微调基本语言模型来执行此任务。我们使用 Text-to-Text Transfer Transformer（T5）模型作为实验的基础，并将我们的方法与利用隐藏状态进行分类的更直接方法进行了比较。评估结果显示了我们的方法在文本分类任务中的卓越性能，突出了其简单性和效率。此外，对我们模型提取的特征进行的可解释性研究揭示了其能够在没有显式分类器的情况下区分不同 LLMs 之间的独特写作风格。我们还收集了一个名为 OpenLLMText 的数据集，其中包含来自人类和 LLMs（包括 GPT3.5、PaLM、LLaMA 和 GPT2）的约 340k 个文本样本。

Nov, 2023

生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

Dec, 2023

学习您的标记：用于语言建模的单词汇总分词

这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

Oct, 2023

语言模型是少样本学习器

在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020

大型语言模型不是你所需的全部

本文描述了解决 SemEval 2023 Task 2：MultiCoNER II（多语言复杂命名实体识别）问题所构建的体系结构和系统。我们评估了两种方法：传统的条件随机场模型和经过自定义头部微调的大型语言模型（LLM），并比较了这两种方法。我们探索的新想法有：1）衰减辅助损失（带剩余项）- 在模型上训练粗粒度 NER 的辅助任务并将其包括在损失函数的一部分中；2）三元标记混合 - 探索在最终 NER 层中预测之前混合相邻标记的嵌入方式；3）任务最优头部 - 探索各种用于 LLM 最终层的自定义头部和学习率。我们还尝试了多个 LLM，包括 GPT-3，并在最终模型中使用了多种 dropout 和其他超参数设置，该模型在开发数据上达到了 0.85/0.84 的微观和宏观 F1 值，并在测试数据上达到了 0.67/0.61。我们证明，虽然预训练的 LLM 本身相对传统模型带来了很大的改进，但通过上述额外特征 / 损失 / 模型工程技术的增强，我们还可以显著提高宏观 F1 分数。

Jan, 2024

多语言语言模型的少样本学习

本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。

Dec, 2021