COLINGOct, 2022

重新审视音节在语言建模中的作用及其在低资源机器翻译上的应用

PDF
TL;DR本文探讨利用音节对语言建模和机器翻译的作用。通过 21 种语言的实验，我们发现音节优于字符和其他的子词。在对一个非相关和低资源语言组（西班牙语 - Shipibo-Konibo）进行翻译时，音节在成对的和多语言的系统中优于无监督的子词和进一步的形态分割方法。最后，我们进行了一些人类评估，并讨论了局限和机遇。
syllableslanguage modellingneural machine translationsubwordsmorphological segmentation
发现论文，激发创造
  • 引入音节分词技术用于低资源语言：以斯瓦希里语为例研究

    我们提出了一种音节分词器，并采用实验为中心的方法验证所提出的分词器在斯瓦希里语中的有效性。我们使用 GPT2 进行文本生成实验，结果证明所提出的音节分词器能够有效地表示斯瓦希里语。

    Mar, 2024

  • 聚合语言音节级神经语言模型

    提出了一种利用音节和词素衍生的嵌入来弥补粘着语言中的词汇外问题的方法，该模型比具有 9.50M 参数的字符级嵌入在困惑度上表现出色 16.87。所提出的方法在键击节省方面实现了现有输入预测方法的最新性能，并已商业化。

    Aug, 2017

  • 基于音节的韩语单词嵌入技术

    通过卷积神经网络（CNN）构建模型，使用音节数组来代替单个字符，成功的实现了韩语词汇的形态学表征，比传统的 Skip-gram 模型表现更优，且具备良好的鲁棒性。

    Aug, 2017

  • 乌兹别克音节提取工具的设计与实现

    在该研究中，我们提出了一种综合的途径来对乌兹别克语进行音节化，其中包括基于规则的技术和机器学习算法。我们的研究结果表明，这两种方法都具有高度准确性，超过了 99%。这项研究为未来在乌兹别克语及其他相关低资源土耳其语言中关于音节化及相关领域的研究提供了宝贵的见解和建议。

    Dec, 2023

  • 使用音节子词标记进行开放词汇马拉雅拉姆语语音识别

    本文探讨了在马拉雅拉姆语自动语音识别中使用音节子单元作为音素字典和语言模型，并评估了词汇量、内存需求和词语错误率的相对改善。

    Jan, 2023

  • 基于神经序列标注的语言无关音节划分

    使用深度学习模型，我们提出了一个新的用于音节划分的方法，并在多个语系下表现出与当前最佳方法一致的竞争力。

    Sep, 2019

  • 利用音节压缩词向量

    本文研究使用音节嵌入代替常用的 n-gram 嵌入作为子词嵌入的可行性，并在英语和荷兰语中进行了探讨。与完整单词嵌入相比，我们的模型英语表现保留 80％，大小为原来的 20 至 30 倍，荷兰语表现保留 70％，大小为原来的 15 倍，并且能够在短时间内进行训练，但比 n-gram 基线方法略逊。

    Jan, 2022

  • 用于恩格尼语的亚词分语言建模

    该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

    Oct, 2022

  • 基于拼音音节的相关语言机器翻译

    本文探讨使用字母表或表音文字语言中的单词或字元之间的翻译，以音节作为基本翻译单元，我们发现使用音节进行翻译在小型平行语料库上相较于其他基本翻译单位（如单词、词素和字符）有更好的表现。

    Oct, 2016

  • 利用形态和音位子单元表示将词嵌入适应新语言

    使用语言学驱动的子词单元：音素、词素和字形，提高低资源语言下的自然语言处理、实体名称识别和机器翻译表现。

    Aug, 2018