Sep, 2014

神经网络序列到 序列学习

PDF
TL;DR本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。
deep neural networkssequence learninglong short-term memorytranslationoptimization problem
发现论文，激发创造
  • 卷积序列到序列学习

    利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

    May, 2017

  • 循环神经网络中的序列级别训练

    提出了一种新的序列级训练算法，使自然语言处理应用程序使用的语言模型在生成文本时更加强大和高效。这种方法能够直接优化在测试期间使用的指标，并且在三个不同的任务中，我们的方法优于其他几种基准方法。同时，在其他基准方法使用波束搜索时，我们的方法也具有竞争力，而且速度快几倍。

    Nov, 2015

  • 神经机器翻译中的二维序列到序列模型

    研究了一种新的神经机器翻译模型，使用了多维长短期记忆网络（MDLSTM）来实现二维的源语言和目标语言的对应关系，并在 WMT 2017 的德语 - 英语翻译中表现出显著优势。

    Oct, 2018

  • 深度强化学习生成文本

    提出了一种基于深度强化学习（Deep Q-Network, DQN）的序列到序列学习中，通过迭代的方式对输出序列进行解码的新型模式，旨在使解码器优先处理较为容易的序列部分，然后再处理较为困难的部分。

    Oct, 2015

  • 序列对序列模型可直接翻译外语

    我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

    Mar, 2017

  • 基于 LSTM 神经重排序特征的统计机器翻译

    本文使用 LSTM 循环神经网络，建立了一种基于单词对和对齐的新型神经排序模型，成功地解决了机器翻译中的重排序问题，并在 NIST OpenMT12 测试中实现了显著性能提升。

    Dec, 2015

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 基于快速前向连接的深度递归模型用于神经机器翻译

    本研究提出了一种快速前向连接的 LSTM 神经网络，并采用交替双向架构来堆叠 LSTM 层。基于这种方法，在 WMT'14 英语 - 法语任务上，我们用单一的注意力模型实现了 BLEU=37.7，并在处理未知词汇和模型集成后取得了 BLEU=40.4 的最好得分。

    Jun, 2016

  • 神经机器翻译和序列到序列模型：教程

    本教程介绍了一组称为 “神经机器翻译” 或 “神经序列到序列模型” 的新而强大的技术，这些技术已被用于处理人类语言的许多任务，并可成为任何想要建模某种形式的连续数据的人员工具箱中的强大工具。教程假定读者了解数学和编程的基础知识，但不假定具有神经网络或自然语言处理方面的任何特定经验。它试图解释所涵盖各种方法的直觉，然后具体讲解它们的数学细节，并以建议实现练习作为高潮，读者可以在实践中测试他们是否理解了内容。

    Mar, 2017

  • 序列到序列 -- 视频到文本

    该文章介绍了一种基于序列到序列模型和 LSTM 的视频描述方法，利用时间结构，将视频帧序列与单词序列相关联来生成视频描述，同时该模型能够学习视频帧的时间结构和所生成句子的语言模型。

    May, 2015