EMNLPAug, 2018

SentencePiece: 一种简单且独立于语言的子词标记器和去标记器，用于神经文本处理

PDF
TL;DR本文介绍了 SentencePiece，一种语言无关的子单词标记器和去标记器，旨在用于神经文本处理，包括神经机器翻译。它提供了 C++ 和 Python 的开源实现来得到子单词，并能够直接从原始语句中生成子单词模型，从而实现纯粹的端到端系统和语言无关性。我们对英日机器翻译的 NMT 进行了验证实验，并发现与直接使用原始语句的子单词训练相比，可以实现相当的准确性。我们还使用不同配置比较了子单词训练和分割的性能。SentencePiece 可在 Apache 2 许可证下获得：https:// 该网址。
sentencepiecesubword tokenizerneural-based text processingneural machine translationend-to-end system
发现论文，激发创造
  • SelfSeg: 神经机器翻译的自监督子字符分词方法

    该论文介绍了一种名为 SelfSeg 的自监督神经子词分割方法，它比传统的字节对编码（BPE）更快，只需要单语词典而不需要平行语料库，并且在实验中表现出更好的性能。

    Jul, 2023

  • 一种无需词汇表的多语言神经标记器，用于端到端任务学习

    本文提出了一种无需词汇表的神经分词器，通过处理多语言语料库中的独特单词来预训练基于字符的分词器，从而广泛增加语言间的单词多样性，进而克服了子词分词存在的一些问题，如无法进行端到端任务学习，适应性不足，以及在低资源语言中表现欠佳等，实验证明该神经分词器能显著提升多语言（NLI）和混合语言情感分析等任务的性能并且具有较强的鲁棒性。

    Apr, 2022

  • 增强自然语言处理的语义分词器

    本研究提出了一种基于语义的新型分词器，使用词干来增强子词的形成，最小化未编码的单词数量，对接 Trainer，实现了比 SentencePiece 分词器更高效的分词，并在 BERT 模型上实验，表明此方法可以将单词数量提高一倍以上，并显着提高 NLP 模型的收敛速度和单词及句子嵌入的质量，成绩排名 Glue 任务之前，比同等规模的模型优越 50 倍以上。

    Apr, 2023

  • Subword 分段机器翻译：统一分段和目标句子生成

    该研究提出了一种称为子词分节机器翻译（SSMT）的新方法，通过在单个可训练模型中联合学习目标句子单词的分割和目标句子生成，在生成翻译过程中采用动态解码算法进行细分操作，实验结果表明，SSMT 能提高粘着语言的 chrF 分数以及对于评估形态组成通用性构建的测试集的鲁棒性也更强。

    May, 2023

  • GPT-SW3 多语言分词器的训练和评估

    本文介绍了用于 GPT-SW3 的多语言分词器，采用了 SentencePiece 库和 BPE 算法，在 Nordic Pile 上进行训练，重点介绍了分词器的特点和学习到的词汇表。此外，我们还系统地分析了不同语言在数据中的性质，并评估了分词器的性能。

    Apr, 2023

  • 法语医学口罩语言模型中的 tokenization 有多重要？

    深入探讨法语生物医学领域中子词标记化的复杂性，并确定可以进行进一步改进的领域，同时分析了包括 BPE 和 SentencePiece 在内的经典标记化算法，并引入了一种将富含形态素的词分割与现有标记化方法整合的原始标记化策略。

    Feb, 2024

  • 为新语言扩展多语预训练模型的子词模型

    本文研究通过添加新的 Subwords 到 SentencePiece tokenizer 来扩展多语言预训练模型到新语言 (Inuktitut) 并应用于英文到 Inuktitut 翻译。

    Nov, 2022

  • 用于恩格尼语的亚词分语言建模

    该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

    Oct, 2022

  • 采用子单元的神经机器翻译生僻词

    本文提出了一种基于子单词单位的、更简单且更有效的方法来处理翻译中的开放性词汇问题，并通过实验证明了这种方法相较于备用字典模式可以提升该模型的翻译效果。

    Aug, 2015

  • 意义的界限：神经机器翻译的案例研究

    本文讨论词的子词分割算法在自然语言处理和机器翻译等任务中的应用。虽然这些算法将单词分为形式上相对含义不明确的子词，然而它们在高效的机器翻译系统中发挥着作用。本文探讨这种算法的语言学和哲学学理基础，并试图使人工智能更透明和可解释。

    Oct, 2022