Mar, 2017

神经机器翻译和序列到序列模型：教程

PDF
TL;DR本教程介绍了一组称为 “神经机器翻译” 或 “神经序列到序列模型” 的新而强大的技术，这些技术已被用于处理人类语言的许多任务，并可成为任何想要建模某种形式的连续数据的人员工具箱中的强大工具。教程假定读者了解数学和编程的基础知识，但不假定具有神经网络或自然语言处理方面的任何特定经验。它试图解释所涵盖各种方法的直觉，然后具体讲解它们的数学细节，并以建议实现练习作为高潮，读者可以在实践中测试他们是否理解了内容。
neural machine translationneural sequence-to-sequence modelshuman languagesequential datamathematical detail
发现论文，激发创造
  • 神经机器翻译：综述与调查

    本文追溯了现代神经机器翻译体系结构的起源，重点探讨了单个神经网络在翻译中的应用，其中涉及到 word 和 sentence embedding 以及编码器 - 解码器网络家族的早期示例，并总结了该领域的最新趋势。

    Dec, 2019

  • 神经机器翻译

    本文介绍神经机器翻译的相关概念，包括神经网络、注意力模型、模型改进和替代结构的挑战。作为《统计机器翻译》的教材章节，用于 JHU 2017 年秋季机器翻译课程。

    Sep, 2017

  • 序列对序列神经网络模型进行音译

    本文介绍了使用神经序列到序列模型在现有数据集上达到最先进或接近最先进的结果，以转录为重点组件的机器翻译系统和软件国际化。为了使机器转录易于使用，我们开放了一个新的阿拉伯文到英文的转录数据集和我们训练的模型。

    Oct, 2016

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016

  • 联合学习对齐和翻译的神经机器翻译

    本文旨在解决传统编码器 - 解码器架构中的长度固定向量制约所面临的性能瓶颈，并提出一种基于（软）搜索方式的新方法，在英法翻译任务中获得了与基于短语的模型相当的翻译性能，且（软）对齐结果与人类直觉相符。

    Sep, 2014

  • 树到序列的注意力神经机器翻译

    本文提出了一种新的端对端句法神经机器翻译模型，在源端短语结构的基础上扩展了序列到序列模型，并引入了注意力机制，可以软对齐短语和源句子中的单词，实验结果表明，相比于序列到序列的注意力 NMT 模型，该模型表现显著提升，在 WAT'15 英日翻译数据集上，与当下最优秀的树到串翻译系统相比可媲美。

    Mar, 2016

  • 神经网络序列到 序列学习

    本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。

    Sep, 2014

  • 序列到序列模型的神经摘要文本概括

    本研究从网络结构、训练策略和摘要生成算法三个方面全面综述了不同的 seq2seq 模型用于文本摘要生成的研究，并提出了一个名为 NATS 的开源工具包进行研究，对 CNN / Daily Mail 数据集进行了广泛的实验检验，在 Newsroom 和 Bytecup 数据集上测试了两个模型。

    Dec, 2018

  • 两者兼顾：结合神经机器翻译的最新进展

    本文研究序列到序列 (seq2seq) 建模在机器翻译 (MT) 中的最新方法，提出了一种新的 RNN 模型 (RNMT+), 并且通过分析每种常见 seq2seq 架构的特点，设计出了一些混合架构来综合它们的优点，实验结果表明，混合架构进一步提高了 MT 的翻译性能。

    Apr, 2018

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016