用循环神经网络进行序列传导
本研究使用递归神经网络序列对序列 (RNN seq2seq) 模型,研究其在学习四种字符串转换任务(相同、反向、完全重复和指定输入重复)方面的能力,发现虽然关注度有助于学习,但是其结果仍存在显著局限性。此外本研究结果更好地说明了形式语言的复杂性层次结构,而不是字符串转移的层次结构。
Mar, 2023
本文对于近三十年来产生和实践了重要的循环神经网络(RNN),LSTM 和 BRNN 等模型的研究进行综述,旨在提供一个自成体系的最前沿阐述和历史视角,并引用了相关研究文献。
May, 2015
通过基于循环神经网络的概率模型将输入序列转换为高维输出序列来将复调音频音乐转录成符号表示,从而得到了在高噪声下能够产生合理输出分布的方法,并通过有效的算法大幅优于之前最先进的方法,在五个数据集上将测试误差率减半。
Dec, 2012
本研究使用循环神经网络传输器(RNN-T)来训练端到端语音识别模型,并探索了不同的模型架构。通过使用字元素(wordpieces),模型的性能进一步得到了提高,最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。
Jan, 2018
使用设计成类似于机器翻译等实际转换问题的合成语法,我们探索了深度循环神经网络的表达能力并提出了新的基于记忆的循环网络,实现了传统数据结构(如堆栈、队列和双端队列)的连续可微分模拟。我们证明,这些架构表现出卓越的泛化性能(generalisation performance)并且通常能够学习到生成算法。
Jun, 2015
本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络,通过合适的正则化和端到端的训练方法,该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7%。
Mar, 2013
本文介绍了使用神经序列到序列模型在现有数据集上达到最先进或接近最先进的结果,以转录为重点组件的机器翻译系统和软件国际化。为了使机器转录易于使用,我们开放了一个新的阿拉伯文到英文的转录数据集和我们训练的模型。
Oct, 2016
本文章研究了一种新兴的序列到序列模型 ——Transformer,并将它与传统 RNN 模型在 15 项 ASR、1 项多语言 ASR、1 项 ST 和 2 项 TTS 基准测试中进行了比较和分析,发现了各种训练技巧以及 Transformer 在各项任务中带来的显著性能优势,最终实验结果表明 Transformer 在 13/15 项 ASR 基准测试中比 RNN 具有惊人的优越性能。
Sep, 2019