ACLSep, 2017

阿拉伯语言相关分词的挑战：机器翻译和词性标注的应用

PDF
TL;DR本研究探讨用数据驱动的子字单元、字符和卷积神经网络（CNN）学习的单词嵌入来替代传统的形态学分割，实现阿拉伯语自然语言处理（NLP）中的词分割。实验表明，这些方法在机器翻译和词性标注任务中，可以达到接近或超过最先进性能。同时，研究揭示神经机器翻译系统对源和目标令牌的比值敏感，接近 1 或更大的比值有最佳性能。
arabic nlpword segmentationmachine translationpos taggingneural machine translation
发现论文，激发创造
  • 探索分割方法用于神经机器翻译双语代码混合的埃及阿拉伯语 - 英文文本

    在研究中，我们探究了不同分词方法在从阿拉伯语和英语混合语境中进行机器翻译时的效果。实证结果表明，有意识考虑词形的分词器在分词任务中效果最佳，但在机器翻译中表现不佳。在数据非常稀缺的情况下，采用词频和基于词形的组合进行分词是最有效的。

    Oct, 2022

  • 意义的界限：神经机器翻译的案例研究

    本文讨论词的子词分割算法在自然语言处理和机器翻译等任务中的应用。虽然这些算法将单词分为形式上相对含义不明确的子词，然而它们在高效的机器翻译系统中发挥着作用。本文探讨这种算法的语言学和哲学学理基础，并试图使人工智能更透明和可解释。

    Oct, 2022

  • Amharic 词性标注的机器学习方法

    提高阿姆哈拉语的词性标注性能，本文介绍了使用形态学知识、扩展已有标注数据、特征提取、参数调整和标注算法等方法，对比以往工作，明显的提高了词性标注性能。

    Jan, 2020

  • 基于二阶段跨度标注的中文分词与词性标注

    提出了一种名为 SpanSegTag 的神经模型，采用跨度标记跟踪每个中文单词和其分词标记的概率，利用相邻字符的左右边界表示的双交注意力机制学习字符的 n-gram 特征，在中文分词和词性标注方面显著优于以 BERT 或 ZEN 编码器为基础的现有技术。

    Dec, 2021

  • 神经机器翻译上的聚合语言词形分割

    本研究提出了一种基于形态学的单词分割方法，能够在训练时缩小词汇表的同时保留词结构中的语言和语义信息，以协助神经机器翻译，实验结果表明此方法能显著提高土耳其 - 英语和维吾尔 - 中文机器翻译任务的性能，降低数据稀疏性和语言复杂性。

    Jan, 2020

  • 通用词语分割：实现与解释

    本篇论文介绍了一种序列标注框架，并将其应用于具有不同书写系统和类型特征的多种语言的单词分割，结果表明，单词分割的准确性与单词边界标记正相关并与非分割术语数量负相关。在此基础上，设计了一套小的语言特定设置，并基于 Universal Dependencies 数据集进行广泛评估，结果表明该模型在所有 UD 语言上获得了最先进的精度，在中文、日语、阿拉伯语和希伯来语等难以划分的语言上表现显著优于以前的工作。

    Jul, 2018

  • 子词切分对非拼接形态转换的适用性如何？

    本论文研究基于数据驱动的子词分割在自然语言处理等领域的应用是否适用于非连接语素构词方式，通过一套测试套件对分割策略在不同形态学现象上的表现进行比较，并发现学习分析和生成表面的形态上下文仍然具有挑战性且应针对多种语言应用测试新的文本表征策略，以减少不同策略对某些语言造成的不利影响。

    Sep, 2021

  • 阿拉伯语神经机器翻译的首个结果

    本文应用神经机器翻译技术在阿拉伯语翻译任务中进行比较和预处理，并发现在处理适当的阿拉伯语脚本前，神经机器翻译和基于短语的翻译系统性能相近，但神经机器翻译在域外测试集上明显优于短语翻译系统，在实际应用中更具吸引力。

    Jun, 2016

  • 阿拉伯语 Transformer 模型的事后分析

    对在不同阿拉伯语方言上训练的 transformer 模型进行层与神经元分析，研究有趣的发现如下：①单词形态在较低和中间层次上学习，②句法依赖在较高层次上被捕获，③虽然 MSA 模型的词汇表与方言词汇表有很大重叠，但仍然无法捕捉阿拉伯语方言的微妙之处，④嵌入层的神经元是一词多义的，而中间层的神经元仅适用于特定属性。

    Oct, 2022

  • 神经机器翻译中目标语言形态的建模：策略比较

    本文研究机器翻译中针对形态丰富的目标语言面临的挑战以及采用词元标记策略和语言学知识进行目标语言语言建模的实验，结果表明词汇量限制、语法一致性和语言关联性问题仍然是机器翻译需要解决的重要问题。

    Mar, 2022