Jan, 2024

理解对资源有限的神经机器翻译中的词级语言标注的影响

PDF
TL;DR研究了词级语言标注对资源不足的神经机器翻译的影响，通过实验发现，当在源语言进行标注时，语法 - 语义描述标签在某些语言对中表现优于词性标签；但在目标语言进行标注时，词性标签在自动评估指标上始终优于语法 - 语义描述标签，尽管后者可改善输出的语法性。该研究提供了对此结果的详细分析。
neural machine translationlinguistic annotationsunder-resourcedpart-of-speech tagsmorpho-syntactic description tags
发现论文，激发创造
  • 低资源语言的跨语言形态标注

    提出了一种适用于低资源语言的模型来训练形态标记器，该模型使用 Wesabie 模型进行打标， 通过在语料库中引入 POS 词性标注的元信息，将标记信息从富资源语言映射到贫资源语言，实现了跨语言知识的迁移，可以提高句法分析的效果。

    Jun, 2016

  • 评估神经机器翻译中的表示层对词性标注和语义标注任务的影响

    本文研究了神经机器翻译中不同层面的向量表示的学习情况，并发现高层次对语义的学习更有效，而较低层次对词性标注的学习效果更好。

    Jan, 2018

  • 利用语言资源进行神经机器翻译的多任务学习

    本研究表明，多任务学习是将语言学标注引入端到端神经 attention 模型的一个成功和简单的方法，可以对翻译质量产生改善，并且也可以提高词性标注器的性能。

    Aug, 2017

  • 神经机器翻译模型学到了什么关于形态学？

    本文研究神经机器翻译的表示，探讨其对源语言和目标语言的理解以及对单词结构学习的影响，发现了一些关键参数对表示的影响

    Apr, 2017

  • 另一个对形态标记的死胡同？扰动输入和解析

    通过对 14 个不同的 UD 文本库进行的对抗实验，本文证明通过对句子中的形态信息进行解析可以修正词性标记中的误差。但是在面对词汇错误时，它们会降低转换和基于图的解析器的性能。

    May, 2023

  • 跨语种字符级神经形态标注

    本文研究如何利用转移学习的方法，通过训练 character-level recurrent neural taggers 的方式，使得高资源语言和低资源语言都能够正确预测 morphological taggings，成功地实现了多语言间的知识迁移，有效提高了准确性达 30%。

    Aug, 2017

  • 语言输入特征改进神经机器翻译

    本文旨在研究如何将语言特征嵌入编码器中以进一步提高神经机器翻译质量，并成功在英语 - 德语和英语 - 罗马尼亚语的神经机器翻译系统中加入了形态特征、词性标签和句法依存标签等语言特征，实验证明这些特征的加入可以显著提高模型的质量。

    Jun, 2016

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • 形态变化的语境化

    本文介绍了一种利用神经混合图模型构建并预测词形变化的方法，并将其与传统的形态学变化或表面实现进行了比较，证明了将语言学驱动的潜在变量纳入 NLP 模型的实用性。

    May, 2019

  • 在 Transformer NMT 中推广源语法知识是不必要的

    本研究旨在通过使用 Transformer 模型和较大的语料库来提高源端句法知识的表征，并利用多任务学习进行数据操纵或使用专用模型组件。提供的结果表明，采用线性树而不是真实依赖得到的增益不是来自于语言知识的增加，而是由于在自注意矩阵上引起的某种简单的正则化效应。

    Oct, 2019