Jul, 2023

MorphPiece：远离统计语言表示

PDF
TL;DR本研究提出了一种基于形态分词的语言学分词方案 MorphPiece，并使用此方法训练了一个基于 GPT 的语言模型 MorphGPT。相对于标准的 BPE 分词器，MorphGPT 具有更好的性能表现，包括在超大语言模型性能及 NLP 任务上表现出更高水平。
tokenizationnlp pipelinesmorphpiecemorphgptlinguistic features
发现论文，激发创造
  • 无监督形态树分词器

    通过引入形态结构指导标记，提出了一种深度模型来诱导单词的字符级结构，该方法在形态分割任务和语言建模任务上表现良好，并优于 BPE 和 WordPiece 等广泛采用的方法。

    Jun, 2024

  • 令牌化对语言模型的影响：针对土耳其语的分析

    本文研究了在土耳其语 (OSCAR corpus) 的分裂数据上，比较了不同粒度级别的分词器的性能和预训练语言模型的效果，并发现单独定制的分子级别分词器具有挑战性的表现，同时也发现增加词汇量可以提高单独定制的分子级别分词器以及使用 RoBERTa 预训练的中型语言模型的性能。

    Apr, 2022

  • 探究子词分割对 Transformer 语言模型性能的影响

    本文研究了形态素如何影响语言模型的性能，通过使用 StateMorph 对芬兰语和俄语进行训练，发现相比于 BPE 和 Morfessor，使用 StateMorph 能够使模型更高效地收敛并获得更好的验证分数。

    May, 2023

  • 分词不仅仅是压缩

    通过广泛实验，我们发现较少的令牌并不会导致更好的下游性能，从而对有效的标记化原因的理解产生了怀疑。我们评估了标记化的三个阶段的设计决策，特别强调了预标记化的重要性和使用字节对编码 (BPE) 进行初始化词汇构建的好处。

    Feb, 2024

  • 法语医学口罩语言模型中的 tokenization 有多重要？

    深入探讨法语生物医学领域中子词标记化的复杂性，并确定可以进行进一步改进的领域，同时分析了包括 BPE 和 SentencePiece 在内的经典标记化算法，并引入了一种将富含形态素的词分割与现有标记化方法整合的原始标记化策略。

    Feb, 2024

  • 形态学很重要：多语言语言建模分析

    本文通过对 145 个语言的 92 个圣经翻译及其更多的分类特征的分析，探讨了语言的屈折变化是否使得多语言语言建模更加困难，发现基于神经网络的语言建模方法可以通过采用 FST 等分词策略来进一步降低语言构型的影响。

    Dec, 2020

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • 基于形态学意识的分词在低资源神经机器翻译中的有效性

    比较了基于形态学和 BPE 方法的子词切分对低资源神经机器翻译任务的影响，发现其对翻译性能影响不一，并且各自有表现最好的情况。

    Mar, 2021

  • 神经机器翻译中目标侧词形变化建模

    本文提出了一个简单的方法来解决 NMT 系统处理大词汇量时的问题，该方法是训练系统生成单词的词元和丰富的词性标记，然后进行确定性生成步骤，应用于英语 - 捷克语和英语 - 德语翻译方案中，获得了改进。

    Jul, 2017

  • 词汇基础的子词切分

    我们提出了三个在标记化和子词分割中的创新。首先，我们建议使用 Morfessor 的无监督形态分析作为预标记化。其次，我们提出了一种代数方法来获取基于词嵌入空间的子词嵌入。基于此，我们设计了一种使用嵌入的新型子词分割算法，确保该过程考虑了词汇意义。第三，我们引入了一种基于子词二元模型的高效分割算法，可使用词汇感知分割方法进行初始化，以避免在推理时使用 Morfessor 和大型嵌入表。我们使用两个内在指标评估了所提出的方法，并在两个下游任务上测试了其性能：词性标注和机器翻译。我们的实验证明，在各语言上，通过在词素边界上评估的分割精度和改进的 Rényi 效率方面，该分割的形态合理性得到了显著提高。尽管所提出的标记化方法对自动翻译质量影响不大，但我们观察到在词性标注这个更具形态学特征的任务中一直存在性能提升。

    Jun, 2024