Apr, 2023

基于词汇表限制的下游任务导向神经分词器优化作为后处理

PDF
TL;DR本文提出了一种优化已训练后的下游模型性能的分词方法，该方法通过限制词汇量并训练一个生成相应分词结果的分词器，达到更低的下游模型损失值，比现有方法在各项任务中都表现更佳。其中提出的基于 BiLSTM 的分词器能够比现有非神经网络分词方法更好地捕捉上下文信息。
tokenizationoptimizationperformance improvementdownstream modelsvocabulary restriction
发现论文，激发创造
  • 联合优化标记化和下游模型

    本文提出了一种优化分词器和模型以找到适当分词的新方法，该方法可用于各种 NLP 任务，包括后处理和多种语言翻译。实验结果表明，该方法通过确定适当的分词方法可以提高性能。

    May, 2021

  • 一种无需词汇表的多语言神经标记器，用于端到端任务学习

    本文提出了一种无需词汇表的神经分词器，通过处理多语言语料库中的独特单词来预训练基于字符的分词器，从而广泛增加语言间的单词多样性，进而克服了子词分词存在的一些问题，如无法进行端到端任务学习，适应性不足，以及在低资源语言中表现欠佳等，实验证明该神经分词器能显著提升多语言（NLI）和混合语言情感分析等任务的性能并且具有较强的鲁棒性。

    Apr, 2022

  • 增强自然语言处理的语义分词器

    本研究提出了一种基于语义的新型分词器，使用词干来增强子词的形成，最小化未编码的单词数量，对接 Trainer，实现了比 SentencePiece 分词器更高效的分词，并在 BERT 模型上实验，表明此方法可以将单词数量提高一倍以上，并显着提高 NLP 模型的收敛速度和单词及句子嵌入的质量，成绩排名 Glue 任务之前，比同等规模的模型优越 50 倍以上。

    Apr, 2023

  • 提升心理健康领域的长篇文本生成技术：基于任务自适应的分词

    通过任务自适应分词机制，在心理健康方面增强长文本生成的流程，在多个结果中采样具有可变分词的策略，通过优化基于任务的数据的采样概率，引入了构建专用词汇的策略，并引入了允许将任务特定的令牌集成到预训练模型的分词步骤的词汇合并协议。在对中文和英文的心理问题回答任务进行了广泛实验证明，我们的任务自适应分词方法在生成性能上带来了显著的改进，同时使用的标记量减少了多达 60%。初步实验结果显示，使用我们的分词方法与非常大的语言模型能够取得令人满意的结果。

    Oct, 2023

  • 脚本连续语言中不同的分词器在下游任务中的表现？：以日语为例的案例研究

    本文旨在研究分词器对预训练语言模型在 scriptio continua 语言（如日语）下游性能的影响，结果表明对于任何类型的任务，使用 Byte-Pair-Encoding 或 Unigram 作为子词分割器都比 WordPiece 更佳，并且每个下游任务都有一个不同的最佳形态分析器。

    Jun, 2023

  • AVocaDo: 将词汇适应到下游领域的策略

    本文提出了一种针对迁移学习微调阶段中预训练词汇表不能适用于不同领域数据的问题，通过考虑词汇表为可优化参数，利用基于分词统计的领域特定词汇表对其进行扩展和优化，同时利用预训练的语言模型知识和正则化项防止新添加单词的过拟合，实现在不同领域（如生物医学、计算机科学、新闻和评论）上的一致性性能提升。

    Oct, 2021

  • 领域内翻译最佳微调的词汇和 BPE 设置的系统分析 —— 以 NMT 为例

    本文对不同的子词分词策略、词汇生成方法及 Fine-tuning 进行了系统的实证研究，旨在找到一种最佳的 Fine-tuning 领域特定模型的设置，实验结果表明最好的模型达到了比基线模型 6 个 BLEU 分数的提升效果。

    Mar, 2023

  • LLM 培训的标记器选择：微不足道还是至关重要？

    在大规模预训练语言模型（LLMs）中，我们进行了一项全面研究，探究了分词器选择对下游性能、训练数据集和词汇量的影响。研究发现，分词器的选择可以显著影响模型的下游性能、训练和推理成本，并指出常用的分词器评估指标并不能准确预测模型性能，特别是多语言分词器在词汇量方面需要比英语增加三倍。在训练多语言 LLMs 时，仅采用英语分词器会导致严重的性能下降和高达 68% 的额外训练成本，因为其分词词汇表效率低下。

    Oct, 2023

  • 一种在端到端 ASR 系统中修复分词器词汇大小的成本最小化方法

    通过在 LibriSpeech 100 小时数据集上的实验证明，当仔细选择标记数量时，端到端 ASR 系统的性能会有所提升。

    Apr, 2024

  • 多语言语言建模中的分词影响：评估跨语言词汇分配和重叠

    本文提出新的标准以评估子词符号化器中的词汇表示质量和词汇重叠度，并发现跨语言单词表的重叠实际上可能对某些下游任务（如 POS、依赖树标记）产生负面影响，而在命名实体识别和句子级任务（如跨语言检索、NLI）中分享词汇表是有益的。此外，本文还观察到多语种语言模型中特定语言标记的覆盖范围显著影响单词级任务。因此，我们为未来的模型开发人员提供了详细的指导，以选择最适合他们特定应用程序的符号化器。

    May, 2023