Jun, 2024

词汇基础的子词切分

PDF
TL;DR我们提出了三个在标记化和子词分割中的创新。首先，我们建议使用 Morfessor 的无监督形态分析作为预标记化。其次，我们提出了一种代数方法来获取基于词嵌入空间的子词嵌入。基于此，我们设计了一种使用嵌入的新型子词分割算法，确保该过程考虑了词汇意义。第三，我们引入了一种基于子词二元模型的高效分割算法，可使用词汇感知分割方法进行初始化，以避免在推理时使用 Morfessor 和大型嵌入表。我们使用两个内在指标评估了所提出的方法，并在两个下游任务上测试了其性能：词性标注和机器翻译。我们的实验证明，在各语言上，通过在词素边界上评估的分割精度和改进的 Rényi 效率方面，该分割的形态合理性得到了显著提高。尽管所提出的标记化方法对自动翻译质量影响不大，但我们观察到在词性标注这个更具形态学特征的任务中一直存在性能提升。
tokenizationsubword segmentationmorfessorsubword embeddingpart-of-speech tagging
发现论文，激发创造
  • 利用子词信息学习词表示的系统研究

    本研究通过对五种语言的三个任务进行大量实验研究，发现在利用子词级别信息进行词表示学习时，不同语言和任务下，分词和组成函数等关键组件的最优配置各异。同时，我们还发现，一些无监督分词方法，如 BPE 和 Morfessor 等，有时能够和甚至超过一些基于监督分词方法的配置。

    Apr, 2019

  • 使用期望最大化和修剪改进的子单词分割算法 Morfessor EM+Prune

    本文介绍了一种针对单语词根基于期望最大化算法和词典剪枝的 unigram 子词模型的训练算法，并比较了不同算法在英语、芬兰语、北萨米语和土耳其语数据集上的效果。通过改进优化问题，提高了基于语言黄金标准的单词分割的准确率。同时，我们在广泛使用的 Morfessor 软件包中公开了新算法的实现。

    Mar, 2020

  • 分析子词切分的认知可信度

    对比了三种分词算法在多种语言和词汇量上，发现 UnigramLM 算法在分词行为上的认知合理性较低，且派生形态的覆盖率较低。

    Oct, 2023

  • 子词切分对非拼接形态转换的适用性如何？

    本论文研究基于数据驱动的子词分割在自然语言处理等领域的应用是否适用于非连接语素构词方式，通过一套测试套件对分割策略在不同形态学现象上的表现进行比较，并发现学习分析和生成表面的形态上下文仍然具有挑战性且应针对多种语言应用测试新的文本表征策略，以减少不同策略对某些语言造成的不利影响。

    Sep, 2021

  • 用于恩格尼语的亚词分语言建模

    该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

    Oct, 2022

  • 文本理解中有效的子词分割

    通过利用子词增强嵌入式框架，本文介绍了一种学习和合成计算产生的子词级别表示的新方法，经过在英文和汉语测试基准上的各种文本理解任务中的实验测试，发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。

    Nov, 2018

  • 探究子词分割对 Transformer 语言模型性能的影响

    本文研究了形态素如何影响语言模型的性能，通过使用 StateMorph 对芬兰语和俄语进行训练，发现相比于 BPE 和 Morfessor，使用 StateMorph 能够使模型更高效地收敛并获得更好的验证分数。

    May, 2023

  • 意义的界限：神经机器翻译的案例研究

    本文讨论词的子词分割算法在自然语言处理和机器翻译等任务中的应用。虽然这些算法将单词分为形式上相对含义不明确的子词，然而它们在高效的机器翻译系统中发挥着作用。本文探讨这种算法的语言学和哲学学理基础，并试图使人工智能更透明和可解释。

    Oct, 2022

  • Subword 分段机器翻译：统一分段和目标句子生成

    该研究提出了一种称为子词分节机器翻译（SSMT）的新方法，通过在单个可训练模型中联合学习目标句子单词的分割和目标句子生成，在生成翻译过程中采用动态解码算法进行细分操作，实验结果表明，SSMT 能提高粘着语言的 chrF 分数以及对于评估形态组成通用性构建的测试集的鲁棒性也更强。

    May, 2023

  • 基于形态学意识的分词在低资源神经机器翻译中的有效性

    比较了基于形态学和 BPE 方法的子词切分对低资源神经机器翻译任务的影响，发现其对翻译性能影响不一，并且各自有表现最好的情况。

    Mar, 2021