ACLMay, 2018

RETURNN 作为一种通用的灵活神经工具箱，应用于翻译和语音识别

PDF
TL;DR我们比较了 RETURNN 的快速训练和解码速度以及它在翻译和语音识别领域中的表现，它的灵活性使得它可以广泛地应用于各种应用中，并且使用层次预训练方案可以显著提高 BLEU 的得分。
returnnattention modelsbleu improvementtranslationspeech recognition
发现论文，激发创造
  • 注意力全是你需要的

    本文提出一种基于注意力机制的 Transformer 模型，优于使用循环或卷积神经网络的现有机器翻译模型，且可并行训练、训练时间更短，使得 BLEU 评分得以显著提高，并成功将该模型应用于英语句法分析等任务。

    Jun, 2017

  • RETURNN：RWTH 可扩展通用循环神经网络训练框架

    本文介绍了一种可扩展和易于配置的神经网络训练软件，该软件提供了丰富的功能层，特别关注在多个 GPU 上高效训练循环神经网络拓扑结构。该软件支持灵活配置，可用作框架或独立工具，能够训练最先进的深度双向长 - 短时记忆（LSTM）模型，并且已被用于开发成功的评估提交系统。

    Aug, 2016

  • 使用透明化注意力训练更深层的神经机器翻译模型

    本篇研究旨在通过对注意机制做出简单修改以训练深度 NMT 模型，我们尝试通过训练深度 Transformer 和 Bi-RNN 编码器来提高机器翻译的质量，结果在 WMT'14 英德和 WMT'15 捷英任务上均取得了 0.7-1.1 的 BLEU 提升。

    Aug, 2018

  • 机器翻译加权变形器网络

    本篇论文提出基于注意力机制的神经机器翻译新架构，采用自注意力和前馈神经网络层来避免递归和卷积，但是需要大量的参数和训练才能收敛。同时又提出了加权 Transformer 模型，通过修改注意力层架构，更快地提高 BLEU 得分表现，同时在英译德和英译法机器翻译任务中表现最优。

    Nov, 2017

  • 保留网络：大型语言模型的转换器接班者

    本文提出了 RetNet 作为大型语言模型的基础架构，同时实现了训练并行性、低成本推理和良好的性能表现。通过理论推导，提出了序列建模的 retention 机制，支持三种计算模式，即并行、循环和分块循环，并在语言建模上取得了良好的结果。

    Jul, 2023

  • 基于快速前向连接的深度递归模型用于神经机器翻译

    本研究提出了一种快速前向连接的 LSTM 神经网络，并采用交替双向架构来堆叠 LSTM 层。基于这种方法，在 WMT'14 英语 - 法语任务上，我们用单一的注意力模型实现了 BLEU=37.7，并在处理未知词汇和模型集成后取得了 BLEU=40.4 的最好得分。

    Jun, 2016

  • 基于注意力机制的语音识别模型

    本研究提出了一种基于改进的注意力机制加上位置感知的模型，解决了长输入音频识别中的问题并且有效降低了音素错误率。

    Jun, 2015

  • 神经机器翻译的高效推断

    该论文通过深度编码器和浅层解码器结构、多头注意力修剪以及将解码器自注意力替换为简化的循环单元等方法，可以在不降低翻译质量的情况下，在 CPU 和 GPU 上分别获得高达 109% 和 84% 的加速，并将参数数量减少 25%。

    Oct, 2020

  • 长篇语音识别的端到端模型比较

    本研究调查和提高端到端模型在长篇转录上的性能。实验比较了不同的端到端模型并证明 RNN-T 模型在这种场景下比注意力模型更加鲁棒，并且使用限制注意力单调性和分段解码算法等两种改进方法，将注意力模型的性能极大提升，达到了和 RNN-T 模型相当的水平。

    Nov, 2019

  • 基于 Transformer 与 RNN 的语音应用比较研究

    本文章研究了一种新兴的序列到序列模型 ——Transformer，并将它与传统 RNN 模型在 15 项 ASR、1 项多语言 ASR、1 项 ST 和 2 项 TTS 基准测试中进行了比较和分析，发现了各种训练技巧以及 Transformer 在各项任务中带来的显著性能优势，最终实验结果表明 Transformer 在 13/15 项 ASR 基准测试中比 RNN 具有惊人的优越性能。

    Sep, 2019