Jun, 2015

序列到序列学习的深度基于记忆的架构

HTML
PDF
TL;DRDEEPMEMORY是一种基于神经网络的序列到序列学习框架，采用非线性转换方法来将输入序列（比如中文句子）转换到目标输出序列（比如翻译成英文），其使用内存的堆叠层存储中间表示并进行读写操作来实现从一种表示到另一种表示的非线性转换，这种方法可以处理机器翻译等领域的非常复杂的序列数据，同时DEEPMEMORY可以通过正常的反向传播算法进行训练。
发现论文，激发创造
  • 神经网络序列到 序列学习

    本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。

    Sep, 2014

  • 带外部短语记忆的神经机器翻译

    利用短语记忆，结合外部知识，采用生成多个词语序列的策略，提出一种神经机器翻译器PhraseNet。在汉译英实验中，PhraseNet相比普通神经机器翻译器，BLEU值提高了3.45。

    Jun, 2016

  • 神经机器翻译和序列到序列模型：教程

    本教程介绍了一组称为“神经机器翻译”或“神经序列到序列模型”的新而强大的技术，这些技术已被用于处理人类语言的许多任务，并可成为任何想要建模某种形式的连续数据的人员工具箱中的强大工具。教程假定读者了解数学和编程的基础知识，但不假定具有神经网络或自然语言处理方面的任何特定经验。它试图解释所涵盖各种方法的直觉，然后具体讲解它们的数学细节，并以建议实现练习作为高潮，读者可以在实践中测试他们是否理解了内容。

    Mar, 2017

  • 序列对序列模型可直接翻译外语

    我们提出一种递归编码器-解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

    Mar, 2017

  • 两者兼顾：结合神经机器翻译的最新进展

    本文研究序列到序列(seq2seq)建模在机器翻译(MT)中的最新方法，提出了一种新的RNN模型(RNMT+), 并且通过分析每种常见seq2seq架构的特点，设计出了一些混合架构来综合它们的优点，实验结果表明，混合架构进一步提高了MT的翻译性能。

    Apr, 2018

  • 神经机器翻译中的二维序列到序列模型

    研究了一种新的神经机器翻译模型，使用了多维长短期记忆网络（MDLSTM）来实现二维的源语言和目标语言的对应关系，并在 WMT 2017 的德语-英语翻译中表现出显著优势。

    Oct, 2018

  • DTMT: 一种新颖的深度过渡架构用于神经机器翻译

    本研究采用深度转移递归神经网络的模型构架方法，增加了模型的深度，通过多次非线性转化的隐藏状态转移以及线性变换路径的设计，有效解决了梯度消失的问题，显著提高了翻译质量，其中 DTMT 在中文-英文翻译任务中的 BLEU 分数比 Transformer 模型提高了 2.09 分，并在 WMT14 英德、英法翻译任务上显示出优异的质量。

    Dec, 2018

  • 联合表示的神经机器翻译

    本研究提出一种基于联合表示的神经机器翻译模型，通过提出的高效注意力机制对表示进行精细化处理，实现了新的序列到序列建模范式并在多项机器翻译任务中取得了更优结果，同时提出了系统的模型放大方法，成功将模型规模缩小50%，同时取得更高的翻译品质。

    Feb, 2020

  • 将句法和语义结构丰富非自回归变压器用于神经机器翻译

    本研究旨在提高非自回归模型的神经机器翻译的效率和性能，通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归Transformer模型。实验证明，该模型在速度上显著提高，与现有的多个最先进的非自回归模型相比，在保持翻译质量的同时表现突出。

    Jan, 2021

  • 学习记忆：用循环记忆的Transformer进行文档级机器翻译

    介绍了一种新的循环记忆单元来加强Transformer框架下文档级机器翻译的一致性，提出了一种两阶段的训练策略，实现了在三个流行数据集上的优异表现，并在TED和News数据集上实现了比过去最好结果更好的结果。

    May, 2022