本文通过数学研究自回归语言模型预训练在下游任务中的应用，提出了将分类任务转化为句子填充任务的假设，证实表现好的语言模型可以是有意义的预训练任务，并给出了相应的数学形式化，同时通过分析认为语言模型可以有助于线性解决分类任务。

Oct, 2020

本文提出了一种优化分词器和模型以找到适当分词的新方法，该方法可用于各种NLP任务，包括后处理和多种语言翻译。实验结果表明，该方法通过确定适当的分词方法可以提高性能。

May, 2021

本文研究了在土耳其语(OSCAR corpus)的分裂数据上，比较了不同粒度级别的分词器的性能和预训练语言模型的效果，并发现单独定制的分子级别分词器具有挑战性的表现，同时也发现增加词汇量可以提高单独定制的分子级别分词器以及使用RoBERTa预训练的中型语言模型的性能。

Apr, 2022

本文提出了一种无需词汇表的神经分词器，通过处理多语言语料库中的独特单词来预训练基于字符的分词器，从而广泛增加语言间的单词多样性，进而克服了子词分词存在的一些问题，如无法进行端到端任务学习，适应性不足，以及在低资源语言中表现欠佳等，实验证明该神经分词器能显著提升多语言（NLI）和混合语言情感分析等任务的性能并且具有较强的鲁棒性。

Apr, 2022

本研究提出了一种基于语义的新型分词器，使用词干来增强子词的形成，最小化未编码的单词数量，对接Trainer，实现了比SentencePiece分词器更高效的分词，并在BERT模型上实验，表明此方法可以将单词数量提高一倍以上，并显着提高NLP模型的收敛速度和单词及句子嵌入的质量，成绩排名Glue任务之前，比同等规模的模型优越50倍以上。

Apr, 2023

在大规模预训练语言模型（LLMs）中，我们进行了一项全面研究，探究了分词器选择对下游性能、训练数据集和词汇量的影响。研究发现，分词器的选择可以显著影响模型的下游性能、训练和推理成本，并指出常用的分词器评估指标并不能准确预测模型性能，特别是多语言分词器在词汇量方面需要比英语增加三倍。在训练多语言LLMs时，仅采用英语分词器会导致严重的性能下降和高达68%的额外训练成本，因为其分词词汇表效率低下。

Oct, 2023

这篇论文通过学习词边界将字节/字符聚合成词表示，并在主要语言模型中解码个别字符/字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节/字符模型更好，特别是在稀有词方面达到了30倍的效果提升。

Oct, 2023

我们的研究提出了一种使用所有内部表示的方法，通过在所有激活和隐藏状态上采用多种池化策略，首先逐层稀疏化特定于任务的特征，然后在层之间进行聚合，用于文本分类。我们的实验证明，STC不仅在预训练和微调模型上稳定提高了分类性能，而且在训练和推断速度上更加高效，具有更强的内在可解释性。

Nov, 2023

本文旨在从形式角度奠定分词（Tokenization）的基础，通过阐述和扩展随机映射类别的基本属性，我们提出了一个统一的框架来表示和分析分词器模型，同时讨论了设计和实施分词器模型所必不可少的统计和计算问题。这项工作向神经语言建模的稳健理论基础迈出了一步。

Jul, 2024

本研究解决了传统语音分词与语言模型训练独立的问题，通过利用预训练文本语言模型的目标优化语音分词器的训练方式。新方法不仅有效提升了语音模型的聚类效果，还实现了单一预训练语言模型处理语音和文本输入，显著优于传统方法。

Sep, 2024