言之有物：使用暂停标记训练语言模型

Oct, 2023

言之有物：使用暂停标记训练语言模型

Think before you speak: Training Language Models With Pause Tokens

Sachin Goyal, Ziwei Ji, Ankit Singh Rawat, Aditya Krishna Menon, Sanjiv Kumar...

TL;DR使用一个可学习的 “暂停” 标记和推迟提取模型输出的方法，我们在语言模型上执行训练和推理，并观察到模型在预训练和微调过程中实现了推理时间延迟的增益，这对各种推理、问答和基本理解任务都有积极的影响，进一步将延迟下一个标记预测的方法应用于各种应用场景可能引发更多概念性和实践性的未来研究问题。

Abstract

language models generate responses by producing a series of tokens in immediate succession: the $(K+1)^{th}$ token is an outcome of manipulating $K$ hidden vectors per layer, one vector per preceding token. What if instead we were to let the model manipulate say, $K+10$ hidden vectors,

language models pause token inference-time delays pre-training next-token prediction

发现论文，激发创造

使用预训练语言模型的时长感知暂停插入多说话人文本转语音

本文提出一种基于预训练语言模型的更加高效的暂停插入框架，运用双向变压器编码器表示来注入演讲者嵌入以捕捉不同演讲者的特点，并使用持续时间感知的暂停插入以获得更自然的多人演讲，测试结果表明该模型提高了合成语音的节奏性、暂停插入的精度和召回率。

Feb, 2023

基于预训练语言模型和基于停顿的韵律建模的自然语音合成 (PauseSpeech)

本文提出了一个基于已预训练语言模型和基于停顿的语调模型的语音合成系统 PuaseSpeech，其使用编码器和预测器来实现词语分组和停顿的建模，实验结果表明 PuaseSpeech 在自然度方面优于先前的模型。

Jun, 2023

通过多令牌预测实现更好、更快的大型语言模型

我们建议通过训练语言模型来预测多个未来标记，以提高样本利用效率，并对其下游能力进行改进，特别是在多词预测作为辅助训练任务时，在代码和自然语言生成模型方面获得了显著的改善。

Apr, 2024

利用停顿信息提高实体识别的准确性

本文阐述语言学中名词周围的语音停顿可以用于改善机器学习语言理解任务；作者的提出的一种新颖的语义嵌入模型能够用于增强浅层实体分析，结果显示此模型相比传统方法能够将误差率提高 8%。

Sep, 2021

语言模型是否对未来的标记进行计划？

transformers 在推断期间是否有预先思考。我们提出了两种解释：预缓存和面包屑。通过训练语言模型来测试这些假设，我们在合成数据设置和自回归语言建模设置中找到了明确的证据。

Apr, 2024

优化韩国语 TTS 停顿生成的句法和声学线索相互作用

通过综合建模句法和声学线索，提出了一种能够生成自然语音的新框架，有效解决高资源语言和韩语中的停顿错误问题。

Apr, 2024

用于同时机器翻译的高效等待 k 模型

研究了使用 Wait-k 解码器在资源匮乏的情况下进行同声传译的行为，同时通过使用单向编码器和训练多个 K 值来提高模型的训练，并探讨了 2D 卷积体系结构在同声翻译方面的应用。

May, 2020

基于时间戳的语言模型：教授语言模型理解事件流

使用时间戳编码的语言模型，将追踪实体的过程转化为问题回答问题的任务，取得了较好的结果。

Apr, 2021

大型语言模型的持续预训练：如何（重新）热启动您的模型？

这项研究考察了不同预热策略对大型语言模型的影响，发现重启模型预热可以提高下游性能，即使在大型下游数据集中也优于从头开始训练的模型。

Aug, 2023

使用遗忘因果语言模型改进少样本学习和微调的性能

本文提出的遗忘因果掩码（Forgetful Causal Masking，FCM）和 T-FCM 技术可以显著提高语言模型（如 PaLM）的性能，是一种简单的技术，通过遮盖随机选择的过去标记来执行下一个标记预测任务，从而提高下游语言理解任务的学习表示质量。

Oct, 2022