Aug, 2023

音乐视频自动转换为歌词视频

PDF
TL;DR我们提出了一套设计指南，帮助创作者制作抒情视频，以确保歌词文本的可读性，并保持注意力的统一焦点。我们通过一个完全自动化的流程将输入音乐视频转化为抒情视频，并通过多样化的输入来源生成的抒情视频的用户研究结果表明，我们的流程能够有效地保持文本可读性和注意力的统一焦点。
lyric videosdesign guidelinesreadabilityattention focusautomated pipeline
发现论文，激发创造
  • 无监督的旋律引导歌词生成

    本文提出了一种基于分层框架和旋律 - 歌词对齐的歌词生成模型，能够在没有旋律 - 歌词对齐数据的情况下，通过对内容进行控制生成更可唱、更易懂、更连贯和有韵律的高质量歌词。

    May, 2023

  • 自动歌词注释研究

    介绍自动歌词注释 (ALA) 任务，旨在通过重新表述原始文本并增加额外信息来帮助读者理解创意文本中的歧义和行话；分析翻译和检索模型在任务上的表现，并发现每个模型捕获任务重要的不同信息类型。

    Aug, 2017

  • 无监督旋律 - 歌词生成

    本研究提出一种层次化歌词生成框架，通过将已知旋律编码为解码约束并获得歌曲大纲和完整歌词的生成，实现未经过任何对齐的歌曲和歌词数据即可生成高质量歌词，并通过歌曲大纲实现内容控制。实验结果表明，本模型相对于 SongMASS 等强基线模型，基于人类评分获得了 24% 的整体质量改善。

    May, 2023

  • 歌曲中的美感翻译：联合学习调整旋律与翻译歌词

    本文提出了一种新颖的编码器 - 解码器框架 ——Lyrics-Melody Translation with Adaptive Grouping (LTAG)，通过自适应音符分组模块，可以同时翻译源歌词并确定每个解码步骤中对齐音符的数量，通过注释数据和后翻译使用大量的增广数据，实现了自动歌曲翻译的完整解决方案，并在英汉歌曲翻译数据集上进行实验，结果表明模型在自动和人类评估中均有效。

    Mar, 2023

  • 可演唱歌词翻译的计算评估框架

    本文介绍了一个计算框架，旨在定量评估可唱译歌词，该框架无缝地融合了歌曲、语言和文化维度；通过收集一个可唱歌词数据集，并进行可唱和不可唱歌词的比较分析，我们验证了我们框架的有效性；我们的多学科方法揭示了歌曲翻译艺术的关键因素，并为未来的计算歌词翻译评估奠定了坚实基础。

    Aug, 2023

  • 从歌词中生成神经元旋律

    本文提出了一种基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调及准确标定的模型，并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验，论文通过人工评估证明了模型生成的旋律比基线模型更优秀。

    Sep, 2018

  • 通过连接图像内容和歌词检索歌曲

    本文提出一种基于语义的图像检索语音的解决方案，通过深度学习模型生成标签，使用神经网络建模歌词，并基于多层感知器建立图像和歌词之间的语义相关性，实验结果显示出明显的检索表现力。

    Aug, 2017

  • 游灵：一种基于 AI 辅助的歌词创作系统

    本文介绍了一个 AI 辅助创作歌词系统 Youling，其支持交互式歌词生成，回溯式修订歌词，提供多方面属性控制歌词内容和格式等。

    Jan, 2022

  • LyricJam Sonic: 实时创作与音乐即兴表演的生成系统

    本论文介绍了一种名为 LyricJam Sonic 的创新型音乐创作工具，采用双模式人工智能驱动方法，具可自主或现场演出的功能，能够帮助电子音乐家重新发掘他们以前的录音，并在实时中创作新的音乐作品。

    Oct, 2022

  • TRBLLmaker -- 基于 Transformer 的歌词内部关系识别器

    本文主要介绍了使用 Transformer 架构的 GPT-2 模型实现歌曲歌词含义的生成方法，并且使用了 Genious API 获取了一些包含元数据及解释说明的歌曲数据集。

    Dec, 2022