May, 2024

编码 - 解码框架实现可控高质量韵律的交互式自由体诗生成

PDF
TL;DR生成诗歌或歌词涉及到几个创作因素，而其中一个具有挑战性的方面是对较严格的韵律和押韵模式的遵循。为了解决这一挑战，之前的工作主要集中在逆向语言建模上，我们提出了一种新的微调方法，通过将押韵的词语放在每个歌词的开头，使关键的押韵决策可以在模型承诺歌词内容之前进行，与常规的预训练语言模型的词序兼容。我们进行了广泛的实验，与当前最先进的押韵策略进行了比较，发现我们的方法生成的文本更可读，韵律能力更好。此外，我们提供了一个高质量的英文和其他 12 种语言的数据集，分析了该方法在多语言环境中的可行性，提供了大量实验结果，阐明了歌词生成的良好和不良实践，并提出了比较方法的度量标准。
发现论文，激发创造
  • 使用结构对抗学习押韵约束

    使用结构化判别器的生成式对抗网络实现押韵约束的诗歌生成模型。

    Sep, 2019

  • PoeLM: 用于无监督诗歌生成的节律和押韵可控语言模型

    本研究提出了一种无监督的方法来生成符合任何指定的韵律和押韵方案的诗歌，利用变形器语言模型通过在常规的非诗歌语料库中拆分短语，并在每个短语前添加描述其长度和结束韵的控制代码进行训练。实验表明，这种方法能够生成有效的诗歌，并且与人类写的诗歌在质量上相当。

    May, 2022

  • DeepRapper: 用韵律和节奏建模生成说唱音乐的神经网络

    DeepRapper 是一种基于 Transformer 的说唱生成系统，可以模拟说唱的韵律和节奏，通过逆向生成具备韵律表现形式的歌词，并在其中插入特殊符号以表现节奏，在宏观和微观层面上评估显示 DeepRapper 生成的歌曲质量高且具有创造性。

    Jul, 2021

  • 结合学习的歌词结构和词汇以提高歌词生成

    本文提出一种机制，将两个分别训练的语言模型结合起来，旨在生成符合期望歌曲结构的输出，同时提供丰富的词汇量，从而提高其创造力。

    Nov, 2018

  • 带有可控内容和韵律方案的中文歌曲改写系统 SongRewriter

    本文提出了一种可控的中文歌词生成和编辑系统 SongRewriter，使用随机化的多级掩码策略进行训练，包括新歌词生成和现有歌词片段编辑，加入关键词提示和新的解码约束，提高了词汇选择的控制性以及末韵和内韵方案的灵活性。同时，提出了三个新的歌词押韵评估度量标准，并通过自动和人工评估表明，该模型在内容和韵律质量方面优于现有模型。

    Nov, 2022

  • 使用 RNN 编码器 - 解码器生成中国古典诗歌

    采用 RNN 编码器 - 解码器模型，基于序列 - 序列学习方法，以话题词为输入生成四行句（即汉语诗歌绝句），系统能学习单句语义及行与行之间的语义相关性，并利用结构、韵律和音调模式生成古诗，且无需任何限制性模板，实验结果表明我们的系统优于其他竞争系统，并发现注意力机制可以捕捉汉语古典诗歌中的词语联系，训练时颠倒目标行可以提高性能。

    Apr, 2016

  • DopeLearning：一种用于说唱歌词生成的计算方法

    该论文提出了一种基于机器学习算法的说唱歌词生成方法，将已有歌词中的词组合成有意义和韵律的新歌词，并在表现上超越了最好的人类说唱歌手 21%。

    May, 2015

  • 使用混合解码器的条件变分自编码器生成主题中国诗歌

    本研究提出了一种新型的条件变量自编码器，该自编码器通过加入反卷积神经网络来完全学习潜在变量中的主题信息，进一步利用增强的 word2vec 模型来提高韵律和对称性，从而显著提高了生成诗歌的相关性，让生成的诗歌具有一致主题和规则性。测试结果表明，生成的诗歌在大多数情况下都得到了很好的评价。

    Nov, 2017

  • 基于优质感知掩码语言模型的中国古诗生成迭代优化框架

    本文提出一个新的迭代润色框架，用于高水平的中国诗歌自动生成，该框架基于编码 - 解码结构并使用 Quality-Aware Masked Language Model 进行诗歌的润色，该模型结构能够将全局上下文信息融入到润色过程中。同时，使用多任务学习方案，本方法能够自动决定是否需要对草稿进行润色，产生更贴切的润色结果，有效提高了编码 - 解码结构的表现。

    Nov, 2019

  • TRBLLmaker -- 基于 Transformer 的歌词内部关系识别器

    本文主要介绍了使用 Transformer 架构的 GPT-2 模型实现歌曲歌词含义的生成方法，并且使用了 Genious API 获取了一些包含元数据及解释说明的歌曲数据集。

    Dec, 2022