研究提出一种可用于在线设置中，使得注意力机制在线性时间内计算的可微分方法，- 该方法通过学习单调对齐来解决软注意机制在线性时间复杂度下难以实现的问题，并在句子摘要、机器翻译和在线语音识别领域实现了有竞争力的结果。

Apr, 2017

该文研究应用序列到序列模型解决对话响应生成问题的方法，使用基于注意力机制的解码器保证响应内容连贯性，并提出了一种名为‘glimpse-model’的实用方法以适应大型数据集，并使用随机 beam 搜索算法注入多样性来增加生成可接受响应的比例和整体响应长度。

Jan, 2017

该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

Dec, 2016

我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

Mar, 2017

该研究研究如何将规划机制集成到序列到序列模型中，使用注意机制计算输入和输出序列之间的对齐来构建未来计划矩阵和承诺向量，提出的方法基于强化学习中的 STRAW 模型，该模型可以使用可微分运算进行端到端训练，且在字符级翻译、寻找 Eulerian 环路的算法任务和从文本生成问题等任务上的性能比强基线模型更好。

Nov, 2017

基于 Transformer 的在线继续学习方法，利用其在上下文学习和元学习方面的潜力，结合重放机制以实现快速自适应和持续长期改进，在图像地理定位等任务上展示了显著的改进。

Mar, 2024

本文研究了基于具有副条件语言模型的生成的序列到序列翻译方法在不同类型任务中的适用性，包括有限词汇的 grapheme-to-phoneme 任务，并探讨了双向 LSTM 神经网络在这种方法中应用的优势。

May, 2015

本文提出一种将自动语音识别和语音翻译集成生成的方法，允许生成同时满足单调字幕和非单调翻译的操作序列，以实现对语音输入的实时解释。

Nov, 2022

本文提出了一种基于知识蒸馏的训练方法，将外部语言模型集成到序列到序列语音识别系统中，通过递归神经网络语言模型生成软标签来指导序列到序列模型的训练，以此来降低字符错误率。

Jul, 2019

提出了一种基于步骤单调注意力方法，将严格单调性和强制的注意力硬约束引入到序列到序列的声学建模中，以改善神经 TTS 中的模型鲁棒性并获得显著的性能提升。

Jun, 2019