- ACL南卡巴瓦语的计算语言学研究：情感分析和机器翻译
本文发布了两个 Minangkabau 语料库，展开了情感分析和机器翻译实验，并使用经典机器学习和序列到序列模型，如 LSTM 和 Transformer，进行了 Minangkabau 语言的首次计算语言学研究。实验表明，在与印尼语模型测 - XSleepNet: 自动睡眠分期的多视角序列模型
本文提出了一个名为 XSleepNet 的序列到序列的睡眠分期模型，可以从不同的视角（例如，原始信号和时频图像）学习联合表示，在不同视角之间平衡表示功率，从而改善了睡眠分期方法的结果。
- 非平行语音转换中源样式转移
本研究提出一种基于序列到序列的非并行语音转换方法，该方法能够通过显式建模将源语音中的说话风格转移至转换后的语音，并在客观评估和主观听力测试中证明了其在语音自然度和说话人相似度方面优于其他方法，并进行了实验来展示该方法的源语音风格可转移性。
- ACL利用非对话文本丰富对话生成
本文提出了一种新的方法，通过利用非对话文本来丰富对话生成，我们通过迭代反向翻译等技术有效地将非对话文本集成进模型中，在不降低与上下文相关性的情况下，生成的回复显著更具多样性。
- ACL层次文本分类的高效策略：外部知识和辅助任务
本文利用类定义的词嵌入作为条件来预测下一层分类，并采用合适的搜索方法，以较少的参数数在两个著名的英语数据集上优于先前的研究。
- EMNLP通过零样式改写实现多语言自动机器翻译评估
使用序列到序列的释义器作为人类参考的评估工具，将机器翻译评估任务转化为对机器翻译输出进行评分的任务。通过将释义技术视为零射任务，将释义器训练为多语言 NMT 系统，并将其应用于质量估计任务中，以条件化源，而不是参考，发现其在各种语言对中的表 - 基于序列到序列结构和预训练语言模型的会话问句改写
本文研究了对话问句改写技术，使用了序列到序列模型和预训练语言模型来提高模型的表现，通过在 CANARD 数据集 (内领域) 和 TREC 2019 CAsT 数据集 (外领域) 进行的实验，结果表明 T5 模型在参数更少的情况下表现最好。
- 使用预训练的序列到序列模型进行文档排名
通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于 BERT 等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。
- 伪卷积策略梯度用于序列到序列的口语读唇
探讨使用伪卷积策略梯度 (PCPG) 解决序列到序列问题中的 “teacher-forcing” 策略所存在的暴露偏差问题和交叉熵损失与最终评估指标之间不一致的问题。提出了使用伪卷积策略梯度 (PCPG) 的新方法来解决这些问题，该方法能够 - 密度估计与序列生成之间的偏差
通过比较几个密度估计器在五个机器翻译任务上的表现，我们发现，基于对数似然和 BLEU 的模型排名的相关性因比较的模型范围而异。
- AAAI基于句法先导的注意力网络用于句子压缩
本文提出了一种基于 SLAHAN 的序列到序列 (Seq2Seq) 模型，在解码过程中明确跟踪依赖父 / 子词以及捕捉将来将被解码的重要词汇，进而解决了在压缩句子过程中生成不合语法的问题，同时在 Google 数据集上取得了最佳的保留标记 - ERNIE-GEN: 自然语言生成的增强多流程预训练和微调框架
提出了一种增强型的多流序列到序列预训练及微调框架 ERNIE-GEN，用于多种语言生成任务中，实现了比现有预训练方法更高的性能，并且使用更少的预训练数据和参数量。
- EMNLPProphetNet：基于序列到序列预训练的未来 N-gram 预测
本论文提出了一种新的序列到序列的预训练模型，名为 ProphetNet，它引入了一种名为未来 n-gram 预测的自监督目标以及建议的 n 流自我注意机制，这个模型通过 n 步预测同时基于上下文符号，而非传统序列到序列模型中的一步预测来进行 - 歌声合成：借助注意力的一点帮助
UTACO 是一种基于注意力机制和精简的神经网络构建的歌唱合成模型，相比前人的模型需要的人声特征建模较少，自主学习添加音乐背景下的 vibrato，但完全放弃了时间建模会影响音乐节奏的精度。
- AAAICopyMTL: 多任务学习下实体和关系的联合抽取的复制机制
提出了一种新的多任务学习框架 CopyMTL，采用复制机制来处理多标记实体，并通过改进结构解决了实体提取问题，这使得模型在实体和关系提取方面有了更显著的性能。
- 标记我的词：一种序列到序列的定义建模方法
本文将定义建模任务作为一种序列到序列（sequence-to-sequence）的任务，使用基于 Transformer 的模型训练上下文匹配和定义生成，取得了最优结果。
- EMNLP神经机器翻译中的文本复杂度控制
该研究介绍了一项机器翻译任务，其输出面向不同水平的目标语言熟练度的受众。他们收集了高质量的新闻文章数据集，提出了一种跨语言文章段落对齐方法，训练出多任务序列到序列模型，实现将西班牙语翻译成英语并针对英语简化阅读难度，结果显示这些多任务模型优 - 摘要文档生成的注意力优化
该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。
- 使用前馈 Transformer 进行序列到序列歌唱合成
提出了一种基于 Transformer 模型的序列到序列歌曲合成器，使用自身注意力机制结合初始的音长模型来准确合成出作曲家想要的声音，相比于基于老师强制训练的自回归模型，具有更快的推理速度和更好的生成效果。
- 基于 Transformer 与 RNN 的语音应用比较研究
本文章研究了一种新兴的序列到序列模型 ——Transformer，并将它与传统 RNN 模型在 15 项 ASR、1 项多语言 ASR、1 项 ST 和 2 项 TTS 基准测试中进行了比较和分析，发现了各种训练技巧以及 Transform