EMNLPOct, 2022

解释机器翻译语言：神经分类器为何更好，又学到了什么？

PDF
TL;DR通过实验，我们发现神经元模型 BERT 在特定任务下表现更好的原因是其具有更好的特征表示，尤其是与传统手工特征相比。此外，BERT 的高性能也与其对文本主题和错误相关性的学习有关。
发现论文，激发创造
  • 特征工程与特征学习方法在多语言翻译分类中的比较

    本研究通过比较传统的基于特征工程的方法和基于特征学习的神经结构，分析了翻译文本的语言特征识别任务，并探讨了手工特征和神经模型预测的变量。研究表明神经结构比传统的特征工程方法优越，如 BERT 模型在单语和多语言场景下的表现最佳，而特征重要性分析也表明手工特征与神经结构的重要特征不同，多语言实验提供了翻译普遍特征的经验证据。

    Sep, 2021

  • 不是所有神经嵌入都是平等的

    研究神经机器翻译模型和单语模型在表征词汇相似性和语法角色方面的性能，结果表明，神经翻译模型在捕捉概念的本体论状态方面比单语模型更胜一筹。

    Oct, 2014

  • 语言输入特征改进神经机器翻译

    本文旨在研究如何将语言特征嵌入编码器中以进一步提高神经机器翻译质量，并成功在英语 - 德语和英语 - 罗马尼亚语的神经机器翻译系统中加入了形态特征、词性标签和句法依存标签等语言特征，实验证明这些特征的加入可以显著提高模型的质量。

    Jun, 2016

  • 训练，分类，解释：学习诊断翻译模型

    本文介绍了一种基于神经文本分类器的方法，将自然语言处理中翻译模型的自动化评估与人类评估相结合，并揭示人机差异，其中包含翻译质量和人工智能的深入讨论。

    Mar, 2019

  • 使用多任务张量网络的统计机器翻译特征

    提出了一种以神经网络为基础的三重方法，用以改善统计机器翻译，并在阿拉伯语 - 英语和中文 - 英语翻译上实现了显著改进，包括新的神经网络特征、张量层和多任务学习。

    Jun, 2015

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • 特征工程与 BERT 在 Twitter 数据上的比较

    通过比较传统机器学习模型使用特征工程和词向量与最先进的语言模型 BERT 使用词向量在三个数据集上的表现，并考虑特征工程与 BERT 的时间和成本效益。研究证明，在三个数据集中，BERT 模型只有在其中一个数据集上胜于传统的特征向量分类器，使用 BERT 模型可以获得 0.03 和 0.05 的准确度和 F1 分数的提高，其中 BERT 模型表现显着优于传统分类器。因此，在该数据集上使用 BERT 模型值得花费时间和成本，而在其他数据集上则不值得。

    Oct, 2022

  • 神经机器翻译中语义现象的自然语言推理评估

    本文提出一个过程，用于研究神经机器翻译 (NMT) 系统生成的句子表示如何编码不同的语义现象，最终发现编码器最适合在语法 - 语义界面上支持推理，而不是需要世界知识的指代消解。

    Apr, 2018

  • 为类型预测学习语言表示

    利用 1017 种语言构建一个神经机器翻译系统，预测存在于语分类数据库中缺失的语言特征，实验表明该方法不仅能推测句法特征，还能推测音位、音库特征。

    Jul, 2017

  • 评估神经机器翻译中的表示层对词性标注和语义标注任务的影响

    本文研究了神经机器翻译中不同层面的向量表示的学习情况，并发现高层次对语义的学习更有效，而较低层次对词性标注的学习效果更好。

    Jan, 2018