Apr, 2023

增强自然语言处理的语义分词器

PDF
TL;DR本研究提出了一种基于语义的新型分词器，使用词干来增强子词的形成，最小化未编码的单词数量，对接 Trainer，实现了比 SentencePiece 分词器更高效的分词，并在 BERT 模型上实验，表明此方法可以将单词数量提高一倍以上，并显着提高 NLP 模型的收敛速度和单词及句子嵌入的质量，成绩排名 Glue 任务之前，比同等规模的模型优越 50 倍以上。
发现论文，激发创造
  • 一种无需词汇表的多语言神经标记器，用于端到端任务学习

    本文提出了一种无需词汇表的神经分词器，通过处理多语言语料库中的独特单词来预训练基于字符的分词器，从而广泛增加语言间的单词多样性，进而克服了子词分词存在的一些问题，如无法进行端到端任务学习，适应性不足，以及在低资源语言中表现欠佳等，实验证明该神经分词器能显著提升多语言（NLI）和混合语言情感分析等任务的性能并且具有较强的鲁棒性。

    Apr, 2022

  • 分词不仅仅是压缩

    通过广泛实验，我们发现较少的令牌并不会导致更好的下游性能，从而对有效的标记化原因的理解产生了怀疑。我们评估了标记化的三个阶段的设计决策，特别强调了预标记化的重要性和使用字节对编码 (BPE) 进行初始化词汇构建的好处。

    Feb, 2024

  • 关于子词标记对于低资源和高效命名实体识别的意义：马拉地语案例研究

    我们研究了在语言资源匮乏情况下对名词实体识别（NER）系统进行改进的方法，并通过将 BERT-based 子词标记器集成到传统的 CNN/LSTM 模型中，展示了提高其准确性的有效途径。在 Marathi 这种低资源语言环境下的案例研究中，我们发现使用子词标记化对 NER 的重要性，并呈现了构建高效 NLP 系统的研究。

    Dec, 2023

  • SentencePiece: 一种简单且独立于语言的子词标记器和去标记器，用于神经文本处理

    本文介绍了 SentencePiece，一种语言无关的子单词标记器和去标记器，旨在用于神经文本处理，包括神经机器翻译。它提供了 C++ 和 Python 的开源实现来得到子单词，并能够直接从原始语句中生成子单词模型，从而实现纯粹的端到端系统和语言无关性。我们对英日机器翻译的 NMT 进行了验证实验，并发现与直接使用原始语句的子单词训练相比，可以实现相当的准确性。我们还使用不同配置比较了子单词训练和分割的性能。SentencePiece 可在 Apache 2 许可证下获得：https:// 该网址。

    Aug, 2018

  • 基于词汇表限制的下游任务导向神经分词器优化作为后处理

    本文提出了一种优化已训练后的下游模型性能的分词方法，该方法通过限制词汇量并训练一个生成相应分词结果的分词器，达到更低的下游模型损失值，比现有方法在各项任务中都表现更佳。其中提出的基于 BiLSTM 的分词器能够比现有非神经网络分词方法更好地捕捉上下文信息。

    Apr, 2023

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 从词到字：自然语言处理中开放词汇建模和分词的简史

    本文通过调研 pre-neural 和 neural era 中的多种技术，探讨自然语言处理中的 “微观结构”（从字节到词组）建模方式是否应采用字符级或字节级处理，或采取分词处理的基于子字的方法，得出结论：没有一种万能的处理方式适用于所有情况，仍需要认真考虑分词对于不同应用场景的重要性。

    Dec, 2021

  • 法语医学口罩语言模型中的 tokenization 有多重要？

    深入探讨法语生物医学领域中子词标记化的复杂性，并确定可以进行进一步改进的领域，同时分析了包括 BPE 和 SentencePiece 在内的经典标记化算法，并引入了一种将富含形态素的词分割与现有标记化方法整合的原始标记化策略。

    Feb, 2024

  • 领域内翻译最佳微调的词汇和 BPE 设置的系统分析 —— 以 NMT 为例

    本文对不同的子词分词策略、词汇生成方法及 Fine-tuning 进行了系统的实证研究，旨在找到一种最佳的 Fine-tuning 领域特定模型的设置，实验结果表明最好的模型达到了比基线模型 6 个 BLEU 分数的提升效果。

    Mar, 2023

  • 生物医学语言模型对次优分词具有鲁棒性

    本研究探索了使用更准确的生物医学分词器训练生物医学语言模型是否可以提高实体表示质量，结果表明该方法并不能提高语言模型的表现。

    Jun, 2023