介绍了一种用于生成汉语歌词的模型，该模型基于原始旋律并考虑了汉语音节结构及语义。通过使用多通道序列到序列模型，同时考虑词组结构和语义，其中一个用于编码音节结构，另一个用于语义编码。使用大规模的汉语歌词语料库进行模型训练，并通过自动和人工评估验证了模型的有效性。是目前关于考虑音乐和语言的双重视角的汉语歌词生成较少的报告之一。

Jun, 2019

本文利用基于注意力机制的序列到序列模型生成中国宋词。通过双向 LSTM 模型对提示句进行编码，再通过基于注意力的 LSTM 模型预测整个倚仗，可以通过输入线索的细微结构来规范化生成过程。研究了几种技术来改进模型，包括全局上下文整合，混合式风格训练，字符向量初始化和适应性。通过自动和主观评估结果表明，我们的模型确实可以学习到宋词复杂的结构和韵律模式，且生成成功。

Apr, 2016

本文使用循环神经网络模型对大规模的歌曲歌词数据集进行音乐流派分类，并在此基础上利用分层注意力网络（HAN）实现在不同层级的特征学习以分类音乐流派，该方法不仅在准确率上超过了先前的研究成果，而且还提供了洞察在语言特征和词汇结构方面不同的音乐流派之间的区别。

Jul, 2017

本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

Apr, 2021

本文提出了一种基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调及准确标定的模型，并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验，论文通过人工评估证明了模型生成的旋律比基线模型更优秀。

Sep, 2018

本文提出了一种基于文档精华提取的文本摘要方法，并通过引入语言因素和改进神经网络如 LSTMs 和 Neural Semantic Encoders，利用自我强化学习模型进一步提高了文本摘要的质量，实现并超越了文本摘要领域的最佳性能，其中基于分层 NSE 模型的 ROUGE 值提升近 4 个百分点。

Oct, 2019

通过使用基于自注意力机制的 Transformer 模型，比较了基于音节和音素的汉语语音识别模型，结果表明音节模型在 HKUST 语料库上表现优异。

Apr, 2018

采用 RNN 编码器 - 解码器模型，基于序列 - 序列学习方法，以话题词为输入生成四行句（即汉语诗歌绝句），系统能学习单句语义及行与行之间的语义相关性，并利用结构、韵律和音调模式生成古诗，且无需任何限制性模板，实验结果表明我们的系统优于其他竞争系统，并发现注意力机制可以捕捉汉语古典诗歌中的词语联系，训练时颠倒目标行可以提高性能。

Apr, 2016

本文提出了一种基于序列生成对抗网络（SeqGAN）的端到端旋律条件歌词生成系统，可以根据输入的旋律生成一行歌词，并对生成的主题或总体主题进行了探究，并证明输入条件不会对评估度量产生负面影响，同时可以产生更有意义的结果。

Oct, 2020

本文提出了一种层次注意机制的神经翻译模型，采用双向树形编码器来增强源端层次表示，用加权变异的注意机制平衡词汇和短语向量之间的信息，通过树形稀有词编码将该模型扩展至亚字级别以缓解词汇缺失的问题，实证结果表明，该模型在英汉翻译任务中显著优于序列到序列的注意力机制和基于树的神经翻译模型。

Jul, 2017