Mar, 2024

贪婪是所需之物：Tokenizer 推理方法的评估

PDF
TL;DR通过对七种解码方法在四种不同算法和三个词汇量上的实验进行受控分析，我们提供了一个用于英语的新型内在评估套件，结合了与形态、认知和信息论相关的度量标准，结果显示在常用的分词器中，贪婪解码方法表现出乎意料的好，最近推出的上下文感知分词器 SaGe 在形态对齐上表现最佳。
subword tokenizersnlp modelsdecoder methodsintrinsic evaluationmorphological alignment
发现论文，激发创造
  • 重新思考分词：为大型语言模型打造更好的分词器

    通过追踪分词器从词级到子词级的演变，本研究分析了分词器如何在增强模型适应性的同时控制复杂度方面平衡标记和类型。根据认知科学中的 “最省力原则”，本文提出了一种新的 LLN 分词器 LiB 模型，它可以自主学习由子词、词和多词表达式组成的综合词汇，从而有效减少标记和类型的数量。比较评估显示，LiB 分词器优于现有的词级和 BPE 分词器，为分词器开发提供了创新方法，并提示未来的基于认知科学的分词器可能更为高效。

    Mar, 2024

  • 将上下文纳入子字词表

    本研究提出了 SaGe 字元分词器，它在词汇创建阶段中结合上下文信息以针对其下游使用定制子词元，并显示 SaGe 相对于当前广泛使用的标记方案在保持令牌上下文大一致性方面表现更佳，而不会在编码效率或域鲁棒性方面付出过大代价。SaGe 对于英语 GLUE 分类任务的性能以及对于土耳其语推理和 NER 任务的性能都有所提升，证明它对于语言特性（例如形态学指数和连词词缀）具有鲁棒性。

    Oct, 2022

  • 分析子词切分的认知可信度

    对比了三种分词算法在多种语言和词汇量上，发现 UnigramLM 算法在分词行为上的认知合理性较低，且派生形态的覆盖率较低。

    Oct, 2023

  • 一种在端到端 ASR 系统中修复分词器词汇大小的成本最小化方法

    通过在 LibriSpeech 100 小时数据集上的实验证明，当仔细选择标记数量时，端到端 ASR 系统的性能会有所提升。

    Apr, 2024

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 信息抽取研究：注意分词！

    研究发现通过使用字符作为深度学习模型的输入，可以在生物医学文本信息提取方面实现最先进的性能且无需进行传统的分词处理。

    Mar, 2023

  • 无需分词的多语言预训练模型的多维度评估

    综合比较多语言预训练模型的效率时，在考虑内存使用、推理速度和数据健壮性等方面，基于子词的模型仍然是许多场景下更可靠的选择，此为当前研究结果，建议未来的 tokenizer-free 方法在设计和评估模型时也要考虑这些因素。

    Oct, 2022

  • 评估次词标记化：外语次词组合与 OOV 泛化挑战

    我们提出了一种联合内在 - 外在评估框架用于子词切分，通过 UniMorph Labeller 工具对子词切分进行内在评估，将其分类为形态还是外语；然后通过 Out-of-Vocabulary Generalization Challenge 1.0 基准进行外在评估，包括三个新指定的下游文本分类任务；我们的实证研究发现，UniMorph Labeller 的准确率达到了 98%；而在所有语言模型（包括 ALBERT、BERT、RoBERTa 和 DeBERTa）中，与形态切分相比，外语切分导致了更差的泛化能力，影响了词义的语义组合性。

    Apr, 2024

  • 优于空格：无自定义分词器语言的信息检索

    本研究提出对于不同语言的信息检索及词法匹配的算法 (BM25 等) 使用 WordPiece 分词器的方法，通过对来自不同语言的数据进行实验，证明该方法能够在多数情况下优于白空格分词器，并能更进一步提高自定义分词器的效果。

    Oct, 2022

  • 增强自然语言处理的语义分词器

    本研究提出了一种基于语义的新型分词器，使用词干来增强子词的形成，最小化未编码的单词数量，对接 Trainer，实现了比 SentencePiece 分词器更高效的分词，并在 BERT 模型上实验，表明此方法可以将单词数量提高一倍以上，并显着提高 NLP 模型的收敛速度和单词及句子嵌入的质量，成绩排名 Glue 任务之前，比同等规模的模型优越 50 倍以上。

    Apr, 2023