MMJun, 2019

预处理对阿拉伯语 - 英语统计和神经机器翻译的影响

PDF
TL;DR本文系统比较了优秀的神经网络与基于统计学的机器翻译模型在不同华丽的预处理令牌方案下的阿拉伯语 - 英语翻译数据，并考虑对于这两种方法数据和词汇量的大小对性能的影响。实证结果显示，最佳的语言学基础令牌化方案的选择在于模型类型和数据规模的大小，并且使用神经网络与统计学的机器翻译输出的系统选择可以获得显著的性能提升。
发现论文，激发创造
  • 阿拉伯语神经机器翻译的首个结果

    本文应用神经机器翻译技术在阿拉伯语翻译任务中进行比较和预处理，并发现在处理适当的阿拉伯语脚本前，神经机器翻译和基于短语的翻译系统性能相近，但神经机器翻译在域外测试集上明显优于短语翻译系统，在实际应用中更具吸引力。

    Jun, 2016

  • 分词对神经机器翻译的影响程度如何？

    对五种分词器在十种语言对上的实验表明，Tokenization 对神经机器翻译的最终翻译质量产生重大影响，不同语种需要选择最佳的分词器来提高翻译质量。

    Dec, 2018

  • 神经机器翻译的预翻译

    使用词汇短语转换（phrase-based machine translation）方法预处理输入，进而提升神经机器翻译（NMT）的翻译质量，在英德翻译任务中，使用该方法的性能跃升 2 个 BLEU 分数，同时分析了初始系统质量对最终结果的影响。

    Oct, 2016

  • 词汇语义如何影响翻译？一项实证研究

    本文研究了神经机器翻译系统在不同语言对之间的翻译表现，发现目标语言与英语越相似，翻译表现越好。另外，还探讨了在基于 Transformer 的模型中提供英语词汇的词性标记对翻译表现的影响。

    Dec, 2021

  • 文本预处理在神经网络架构中的作用：文本分类和情感分析的评估研究

    本文研究了文本预处理决策（特别是分词、词形还原、小写和多词组合）对标准神经文本分类器性能的影响，并在文本分类和情感分析这两个方面进行了广泛的评估。我们发现，虽然简单的分词通常足够，但预处理技术之间仍存在显着差异，因此这个通常被忽视的步骤很重要，特别是在比较不同模型时，最终评估提供了有关训练词嵌入的最佳预处理实践的见解。

    Jul, 2017

  • 阿拉伯语言相关分词的挑战：机器翻译和词性标注的应用

    本研究探讨用数据驱动的子字单元、字符和卷积神经网络（CNN）学习的单词嵌入来替代传统的形态学分割，实现阿拉伯语自然语言处理（NLP）中的词分割。实验表明，这些方法在机器翻译和词性标注任务中，可以达到接近或超过最先进性能。同时，研究揭示神经机器翻译系统对源和目标令牌的比值敏感，接近 1 或更大的比值有最佳性能。

    Sep, 2017

  • 阿拉伯预训练语言模型中变体、大小和任务类型的相互作用

    本文研究了阿拉伯语预训练语言模型的语言变体、数据量和微调任务类型对其效果的影响，结论表明预训练数据与微调数据的相似性对模型的性能更为重要。

    Mar, 2021

  • 关于阿拉伯语语言模型预训练中数据规模的重要性

    通过在规模庞大、高质量的阿拉伯语语料库上重新训练，我们显著提高了领先的阿拉伯编码器型 BERT-based 和编码器解码器型 T5-based 的性能，表现出同类模型的最新技术结果；我们的分析强烈暗示，预训练数据远远是性能的主要贡献因素，超越其他因素。

    Jan, 2024

  • 阿拉伯语 Transformer 模型的事后分析

    对在不同阿拉伯语方言上训练的 transformer 模型进行层与神经元分析，研究有趣的发现如下：①单词形态在较低和中间层次上学习，②句法依赖在较高层次上被捕获，③虽然 MSA 模型的词汇表与方言词汇表有很大重叠，但仍然无法捕捉阿拉伯语方言的微妙之处，④嵌入层的神经元是一词多义的，而中间层的神经元仅适用于特定属性。

    Oct, 2022

  • 解释阿拉伯语 Transformer 模型

    本研究探究了基于不同阿拉伯语言方言预训练模型的内部表示，并使用三种内在任务对这些模型进行了层和神经元分析，包括两种基于 MSA 的形态标注任务和一种方言识别任务。研究发现，单词形态是在较低和中间层中学习的；方言识别需要更多的知识，因此即使在最终层中也需要保留；尽管词汇有很大的重叠，基于 MSA 的模型无法捕捉阿拉伯语方言的细微差别，而嵌入层中的神经元是多义的，而中间层中的神经元则专门用于特定的属性。

    Jan, 2022