Sep, 2022

通过众包音乐评论连接音乐与文本：基于序列到序列框架的主题音乐评论生成

PDF
TL;DR本文研究了如何自动生成音乐的文本描述，使用众包音乐评论构建了新数据集，并提出了一种序列到序列模型以及新的评估方法来衡量生成文本的质量。实验结果证明该模型能够生成流畅、有意义的评论，并包含原始音乐的主题和内容信息。
发现论文，激发创造
  • 利用用户生成数据学习评论生成

    提出了一种结合检索和生成方法的方法，使用关注模块检索有信息量和相关性的用户生成数据评论，然后与文章一起作为输入，使用具有复制机制的序列到序列模型。在大规模评论生成数据集上展示了该模型的稳健性并证明了其在 BLEU-1 得分方面比具有注意力机制的 Seq2Seq 和信息检索模型等强基线模型显着优越约 27 和 30 个 BLEU-1 点。

    Oct, 2018

  • 音乐到文本的共感现象：从音乐录音生成描述性文本

    考虑到现有音乐数据集缺乏语义描述，本文收集了包括 1,955 个经典音乐录音和文本描述的新数据集，提出了一种计算模型来生成描述音乐内容的句子，并设计了一种组拓扑保持损失来解决经典音乐的非判别性问题。在我们的数据集上，与其他竞争方法相比，该模型在定性和定量实验中均表现出明显的优越性。

    Oct, 2022

  • 探索文本生成音乐中的个性化方法

    调查了在 few-shot 设置中对文本到音乐扩散模型进行个性化的工作。首次探索了将预训练的文本到音频扩散器与两种常用的个性化方法结合的组合。实验了音频特定数据增强对系统整体性能的影响，并评估了不同的训练策略。构建了一个包含提示和音乐片段的新数据集进行评估，使用基于嵌入和基于音乐的量化评估指标，以及用户研究进行定性评估。分析表明相似度度量与用户偏好一致，并且当前的个性化方法更容易学习到节奏音乐结构而非旋律。该研究的代码、数据集和示例资料对研究社区开放。

    Sep, 2023

  • 代码块的文本描述性注释自动生成

    该研究提出了一种利用递归神经网络框架，对源代码块自动生成描述性注释的方法，并通过将代码转化为向量的方式，利用循环神经网络生成文本描述，相比于其他基于序列到序列模型的方法具有更高的准确性。

    Aug, 2018

  • 迈向音乐字幕生成：生成音乐播放列表描述

    本研究提出了一种音乐播放列表描述生成方法，使用音频内容分析和自然语言处理技术，称为音乐字幕生成。

    Aug, 2016

  • 主题变换器：带主题条件的符号音乐生成器

    本文提出了一种基于主题的条件控制机制，通过深度学习的对比学习和聚类技术自动提取音乐片段中的主题材料，并在序列到序列编码器 / 解码器结构中使用了一种新的门控并行注意力模块来更有效地考虑给定的感应主题材料，以生成具有重复和合理变化的多声部流行钢琴音乐。

    Nov, 2021

  • MusicLDM: 使用节奏同步混合策略增强文本生成音乐中的新颖性

    通过构建一种文本到音乐模型，并利用分布式扩散模型和音频广义线性模型来进行训练以生成新音乐，解决了音乐生成过程中的数据不足、版权和抄袭等问题。同时通过节拍跟踪和两种不同的数据增强策略，即拍子同步音频混合和拍子同步潜在混合，实现对训练数据的重组，从而生成多样化且保持风格一致的音乐。最终，通过基于对比语音 - 音频预训练模型的评估指标，进一步证明了所提出的音乐生成模型和拍子同步混合策略能够提高生成音乐的质量、创新性和与输入文本的对应关系。

    Aug, 2023

  • 从歌词中生成神经元旋律

    本文提出了一种基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调及准确标定的模型，并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验，论文通过人工评估证明了模型生成的旋律比基线模型更优秀。

    Sep, 2018

  • 基于语言引导的视频音乐推荐系统

    该研究提出了一种音乐推荐的方法，允许用户使用自由形式的自然语言来引导音乐选择，解决了没有音乐文本描述的挑战，并使用文本合成方法训练了新的三模态模型，该模型的检索音频可通过与视频呈现的视觉风格和语言查询中描述的音乐风格、心情或器乐匹配，以匹配两个输入模态的准确性。

    Jun, 2023

  • 基于文本的 LSTM 网络自动音乐创作

    本文介绍了一种基于文本的 LSTM（长短时记忆）网络的新方法，并讨论了其在自动音乐作曲方面的应用，研究表明采用基于词的 RNNs 对和弦进行学习的效果较好，该系统可用于完全自动的音乐创作或辅助人类通过调节模型的多样性参数来创作音乐。

    Apr, 2016