Apr, 2024

用于尼泊尔语序列语言模型的标记化效果对微调性能的预测能力调查

PDF
TL;DR使用 6 种不同的分词方案预先训练了相对较小的尼泊尔语言模型，并发现相比于字节级 BPE 算法，SentencePiece 等算法在尼泊尔的微调性能上表现更好。此外，我们还预先训练和微调了基于顺序转换器的语言模型。
发现论文，激发创造
  • 领域内翻译最佳微调的词汇和 BPE 设置的系统分析 —— 以 NMT 为例

    本文对不同的子词分词策略、词汇生成方法及 Fine-tuning 进行了系统的实证研究，旨在找到一种最佳的 Fine-tuning 领域特定模型的设置，实验结果表明最好的模型达到了比基线模型 6 个 BLEU 分数的提升效果。

    Mar, 2023

  • Byte Pair Encoding 不适用于语言模型预训练

    分析使用不同词汇分割方法，如 BPE 和 unigram 在提前训练 Transformer 语言模型时对其细微的影响，并比较它们的效果，在任务绩效中发现 unigram 的方法匹配或优于 BPE，建议开发者在预训练时采用 unigram 方法。

    Apr, 2020

  • 分词不足：分词的诅咒

    大型语言模型存在分词问题，导致对错别字、长度差异和标记内部结构的忽视。本研究通过探究复杂问题解决、标记结构探测和对错别字的抵抗力来系统地调查这些挑战及其对大型语言模型的影响，并展示模型参数缩放与子词规范化对解决这些问题的作用。

    Jun, 2024

  • 无需分词的多语言预训练模型的多维度评估

    综合比较多语言预训练模型的效率时，在考虑内存使用、推理速度和数据健壮性等方面，基于子词的模型仍然是许多场景下更可靠的选择，此为当前研究结果，建议未来的 tokenizer-free 方法在设计和评估模型时也要考虑这些因素。

    Oct, 2022

  • 神经机器翻译的分割粒度优化

    本文提出一种自动调节神经机器翻译中分词粒度的方法，可以在训练的同时引入新的词汇并优化语言分割，最终达到与最优表现相似的结果，并在训练效率和罕见词汇的表现方面带来了改进。

    Oct, 2018

  • 神经机器翻译中更好的子词划分

    本文提出将字节对编码（Byte Pair Encoding）引入到通用无监督框架中以解决翻译任务中由于罕见或未知单词对翻译效果的限制，经实验验证在德英和中英翻译任务中，使用 accessor variety 和 description length gain 进行优化能在不同程度上优于基线频率加权方案。

    Jul, 2018

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 使用字节级子词训练多语言预训练语言模型

    本文介绍了使用 Byte-Level BPE 技术训练 NEZHA 多语言预训练语言模型，并通过多语言 NLU 任务验证其性能显着优于 Google 多语言 BERT 和原始 NEZHA 模型。

    Jan, 2021

  • 为新语言扩展多语预训练模型的子词模型

    本文研究通过添加新的 Subwords 到 SentencePiece tokenizer 来扩展多语言预训练模型到新语言 (Inuktitut) 并应用于英文到 Inuktitut 翻译。

    Nov, 2022

  • 关于子词标记对于低资源和高效命名实体识别的意义：马拉地语案例研究

    我们研究了在语言资源匮乏情况下对名词实体识别（NER）系统进行改进的方法，并通过将 BERT-based 子词标记器集成到传统的 CNN/LSTM 模型中，展示了提高其准确性的有效途径。在 Marathi 这种低资源语言环境下的案例研究中，我们发现使用子词标记化对 NER 的重要性，并呈现了构建高效 NLP 系统的研究。

    Dec, 2023