Dec, 2022

TRBLLmaker -- 基于 Transformer 的歌词内部关系识别器

PDF
TL;DR本文主要介绍了使用 Transformer 架构的 GPT-2 模型实现歌曲歌词含义的生成方法，并且使用了 Genious API 获取了一些包含元数据及解释说明的歌曲数据集。
song meaningtext-to-text modelslyrics decodingtransformer architecturedataset acquisition
发现论文，激发创造
  • 基于 Transformer 的歌词情感识别方法

    本研究使用了基于 Transformer 的 XLNet 模型，首次探索结合歌词进行音乐情感识别。实验表明该方法的性能优于现有基于其他特征的方法。本研究为情感音乐播放列表生成和音乐推荐系统的改进等提供了重要的启示。

    Jan, 2021

  • 使用音频指导的预训练语言模型解释歌曲歌词

    本文提出了 BART-fusion 模型，用于从音乐音频和歌词中生成歌词解释，该模型结合了一个大规模预训练语言模型和一个音频编码器。实验结果显示，该模型能够更好地理解歌词和音乐，生成精确流畅的解释，并且可以帮助人们更准确地检索音乐。

    Aug, 2022

  • 轮询潜在观点：使用变换器语言模型的计算机社会语言学方法

    使用 Transformer Language Models 等方法对 Yelp 评论进行语言行为学习，并利用 prompt-based queries 生成合成文本以分析特定观点，证明即使在缺乏特定关键词的情况下，这些模型也能准确产生具有正确情感的大量文本。

    Apr, 2022

  • 通过微调语言模型实现以旋律为条件的歌词生成，并配合 ChatGPT 进行评估

    我们利用基于字符级的语言模型来从符号化旋律生成音节级歌词，通过对一个字符级预训练模型进行微调，将语言知识整合到音节级 Transformer 生成器的束搜索中。通过基于 ChatGPT 的评估，我们展示了生成歌词时的增强一致性和正确性。

    Oct, 2023

  • 从歌词中生成神经元旋律

    本文提出了一种基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调及准确标定的模型，并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验，论文通过人工评估证明了模型生成的旋律比基线模型更优秀。

    Sep, 2018

  • 无监督的旋律引导歌词生成

    本文提出了一种基于分层框架和旋律 - 歌词对齐的歌词生成模型，能够在没有旋律 - 歌词对齐数据的情况下，通过对内容进行控制生成更可唱、更易懂、更连贯和有韵律的高质量歌词。

    May, 2023

  • 无监督旋律 - 歌词生成

    本研究提出一种层次化歌词生成框架，通过将已知旋律编码为解码约束并获得歌曲大纲和完整歌词的生成，实现未经过任何对齐的歌曲和歌词数据即可生成高质量歌词，并通过歌曲大纲实现内容控制。实验结果表明，本模型相对于 SongMASS 等强基线模型，基于人类评分获得了 24% 的整体质量改善。

    May, 2023

  • 利用 GPT-3 生成音乐解释

    本文研究了 GPT-3 在通过文本解释来表达音乐决策方面的能力，结果表明 GPT-3 缺乏理解音乐决策的必要智能，解决该问题的主要障碍是缺乏艺术家创作音乐时解释过程的数据资源。

    May, 2022

  • 结合学习的歌词结构和词汇以提高歌词生成

    本文提出一种机制，将两个分别训练的语言模型结合起来，旨在生成符合期望歌曲结构的输出，同时提供丰富的词汇量，从而提高其创造力。

    Nov, 2018

  • 复合词变压器：学习在动态有向超图上组合全歌曲音乐

    该论文提出了一种新型 Transformer 解码器架构，其用于不同的前馈头来模拟不同类型的 tokens，以及一种扩展 - 压缩技巧将邻近的 tokens 分组成复合单词的序列，表现出比现有模型更快和同等质量的学习能力.

    Jan, 2021