Oct, 2022

优于空格：无自定义分词器语言的信息检索

PDF
TL;DR本研究提出对于不同语言的信息检索及词法匹配的算法 (BM25 等) 使用 WordPiece 分词器的方法，通过对来自不同语言的数据进行实验，证明该方法能够在多数情况下优于白空格分词器，并能更进一步提高自定义分词器的效果。
tokenizationinformation retrievalwordpiece tokenizerbm25multilingual
发现论文，激发创造
  • 快速 WordPiece 分词

    本文提出 WordPiece 的高效算法以及针对单词和一般文本的标记化方法，包括将预标记文本和线性时间算法相结合，此方法相对于现有方法可提高 8.2 倍到 5.1 倍的效率。

    Dec, 2020

  • 重新思考分词：为大型语言模型打造更好的分词器

    通过追踪分词器从词级到子词级的演变，本研究分析了分词器如何在增强模型适应性的同时控制复杂度方面平衡标记和类型。根据认知科学中的 “最省力原则”，本文提出了一种新的 LLN 分词器 LiB 模型，它可以自主学习由子词、词和多词表达式组成的综合词汇，从而有效减少标记和类型的数量。比较评估显示，LiB 分词器优于现有的词级和 BPE 分词器，为分词器开发提供了创新方法，并提示未来的基于认知科学的分词器可能更为高效。

    Mar, 2024

  • 通过另类空格处理提高 Token 切分效果

    本研究以 BPE 和 Unigram 算法为基础，通过将空格始终视为单独的标记，提出了一种新的分词方法，以改善复杂词汇的处理效果，并在下游 NLP 任务中取得了良好的表现。

    Apr, 2022

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 分词不仅仅是压缩

    通过广泛实验，我们发现较少的令牌并不会导致更好的下游性能，从而对有效的标记化原因的理解产生了怀疑。我们评估了标记化的三个阶段的设计决策，特别强调了预标记化的重要性和使用字节对编码 (BPE) 进行初始化词汇构建的好处。

    Feb, 2024

  • 贪婪是所需之物：Tokenizer 推理方法的评估

    通过对七种解码方法在四种不同算法和三个词汇量上的实验进行受控分析，我们提供了一个用于英语的新型内在评估套件，结合了与形态、认知和信息论相关的度量标准，结果显示在常用的分词器中，贪婪解码方法表现出乎意料的好，最近推出的上下文感知分词器 SaGe 在形态对齐上表现最佳。

    Mar, 2024

  • 法语医学口罩语言模型中的 tokenization 有多重要？

    深入探讨法语生物医学领域中子词标记化的复杂性，并确定可以进行进一步改进的领域，同时分析了包括 BPE 和 SentencePiece 在内的经典标记化算法，并引入了一种将富含形态素的词分割与现有标记化方法整合的原始标记化策略。

    Feb, 2024

  • 信息抽取研究：注意分词！

    研究发现通过使用字符作为深度学习模型的输入，可以在生物医学文本信息提取方面实现最先进的性能且无需进行传统的分词处理。

    Mar, 2023

  • 令牌化对语言模型的影响：针对土耳其语的分析

    本文研究了在土耳其语 (OSCAR corpus) 的分裂数据上，比较了不同粒度级别的分词器的性能和预训练语言模型的效果，并发现单独定制的分子级别分词器具有挑战性的表现，同时也发现增加词汇量可以提高单独定制的分子级别分词器以及使用 RoBERTa 预训练的中型语言模型的性能。

    Apr, 2022

  • 增强自然语言处理的语义分词器

    本研究提出了一种基于语义的新型分词器，使用词干来增强子词的形成，最小化未编码的单词数量，对接 Trainer，实现了比 SentencePiece 分词器更高效的分词，并在 BERT 模型上实验，表明此方法可以将单词数量提高一倍以上，并显着提高 NLP 模型的收敛速度和单词及句子嵌入的质量，成绩排名 Glue 任务之前，比同等规模的模型优越 50 倍以上。

    Apr, 2023