Apr, 2024

SpaceByte：大规模语言模型中消除分词的研究

PDF
TL;DR提出了一种新颖的字节级解码器架构 SpaceByte，通过在层次结构中插入更大的 Transformer 块对字节级别和子词级别语言模型建模的性能差距进行优化，通过在特定的字节后插入这些更大块，如空格字符，来提高性能。实验结果显示，在固定的计算资源下，SpaceByte 的性能优于其他字节级架构，大致与分词的 Transformer 架构相匹配。
tokenizationperformancespacebytebyte-level decoder architectureautoregressive language modeling
发现论文，激发创造
  • ByT5: 面向预训练字节到字节模型的无令牌未来

    本文研究了基于字节级别文本的 Transformer 架构，相比于基于词或子词的标准模型，该模型可处理任何语言的文本，更加稳健且精度更高，并开源了基于 T5 架构的预训练模型及所有实验所用代码和数据。

    May, 2021

  • MambaByte: 无需令牌的选择性状态空间模型

    基于字节的 MambaByte 模型是一种无需标记的语言模型，它在计算效率方面表现出色，优于其他基于字节的模型，并且可以超过现有的基于子词的模型，因此可用于无需标记的语言建模。

    Jan, 2024

  • 字节级表示在语言建模中的应用

    该论文提出了一种新的方法 Byte2Word，通过引入交叉注意力网络建立单词级别的表示，并基于单词级别的隐藏状态进行子词级别的预测，从而实现了更精简的输入嵌入方式，同时在语言模型和文本分类上表现出与强大的基准模型 BERT 相当的性能。

    Nov, 2022

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 神经机器翻译的本地字节融合

    本研究提出了一种基于字节的机器翻译方法 (Local Byte Fusion, LOBEF)，它利用基于 byte-ngram 和单词边界的方法来聚合局部语义信息，经过对多语种翻译、零 - shot 跨语言转移和域自适应的大量实验证明，在多种情况下比传统的基于字节的方法和子词分割技术都有更好的性能表现。

    May, 2022

  • 基于字节级子词的神经机器翻译

    本篇论文探讨了一种基于字节级子词（BBPE）的机器翻译模型，该模型比字符词汇表更紧凑且没有超出词汇表的令牌，并显示了与 BPE 相当的性能，BBPE 在跨多种语言的情况下最大化词汇共享并实现更好的翻译质量，同时使非重叠字符集的语言之间的模型传递成为可能。

    Sep, 2019

  • 分词不足：分词的诅咒

    大型语言模型存在分词问题，导致对错别字、长度差异和标记内部结构的忽视。本研究通过探究复杂问题解决、标记结构探测和对错别字的抵抗力来系统地调查这些挑战及其对大型语言模型的影响，并展示模型参数缩放与子词规范化对解决这些问题的作用。

    Jun, 2024

  • Byte Pair Encoding 不适用于语言模型预训练

    分析使用不同词汇分割方法，如 BPE 和 unigram 在提前训练 Transformer 语言模型时对其细微的影响，并比较它们的效果，在任务绩效中发现 unigram 的方法匹配或优于 BPE，建议开发者在预训练时采用 unigram 方法。

    Apr, 2020

  • 通过另类空格处理提高 Token 切分效果

    本研究以 BPE 和 Unigram 算法为基础，通过将空格始终视为单独的标记，提出了一种新的分词方法，以改善复杂词汇的处理效果，并在下游 NLP 任务中取得了良好的表现。

    Apr, 2022

  • 从字节开始的多语言处理

    通过基于 LSTM 的 Byte-to-Span 模型，我们能够读取以 byte 形式表示的文本，并输出 [start, length, label] 的 span annotations，由于直接操作 unicode bytes 而非语言特定的单词或字符，所以我们能够用单个模型分析多种语言。这些多语言模型非常紧凑且不需要任何自然语言处理的标准流程（包括分词），因此能够独立运行于原始文本上，并在命名实体识别和词性标注等方面产生类似或更好的结果。

    Dec, 2015