CVPRMay, 2024

Diff-BGM: 视频背景音乐生成的扩散模型

PDF
TL;DR本文通过提出高质量的音乐视频数据集 BGM909 并进行详细注释和镜头检测，使用检索精确度度量标准来评估音乐质量，提出了 Diff-BGM 框架，以自动为给定的视频生成背景音乐，并引入片段感知交叉注意力层进行视频和音乐的顺序对齐，实验证明了我们提出方法的有效性。
video background music generationmusic-video datasetevaluation metricsdiff-bgm frameworksegment-aware cross-attention layer
发现论文，激发创造
  • 可控音乐变换器生成视频背景音乐

    本文提出了一种基于 Controllable Music Transformer 的视频背景音乐生成方法，该方法考虑到了视频与背景音乐之间的韵律一致性，可以同时实现对音乐类型、乐器等因素的全局与局部控制，生成的音乐具有较好的兼容性和卓越的质量。

    Nov, 2021

  • Video2Music: 使用情感多模态 Transformer 模型从视频中生成合适的音乐

    在本研究中，我们开发了一个名为 Video2Music 的生成音乐 AI 框架，能够根据提供的视频生成配套的音乐。我们的方法通过分析音乐视频获取语义、场景、运动和情感特征，并利用这些特征来指导音乐生成模型。我们还创建了一个称为 MuVi-Sync 的多模态数据集，用于训练新颖的 Affective Multimodal Transformer (AMT) 模型，以生成与视频相匹配的音乐。在实验证明，我们的提出的框架能够生成与视频内容情感相符的音乐，并通过用户研究证实了音乐质量和音乐与视频的匹配质量。我们的提出的 AMT 模型和新数据集 MuVi-Sync 为视频音乐生成任务迈出了有希望的一步。

    Nov, 2023

  • MusicLDM: 使用节奏同步混合策略增强文本生成音乐中的新颖性

    通过构建一种文本到音乐模型，并利用分布式扩散模型和音频广义线性模型来进行训练以生成新音乐，解决了音乐生成过程中的数据不足、版权和抄袭等问题。同时通过节拍跟踪和两种不同的数据增强策略，即拍子同步音频混合和拍子同步潜在混合，实现对训练数据的重组，从而生成多样化且保持风格一致的音乐。最终，通过基于对比语音 - 音频预训练模型的评估指标，进一步证明了所提出的音乐生成模型和拍子同步混合策略能够提高生成音乐的质量、创新性和与输入文本的对应关系。

    Aug, 2023

  • 适应性格斗游戏背景音乐：一种多乐器音量调制方法

    本文提出使用自适应背景音乐（BGM）增强 DareFightingICE 的方法。自适应 BGM 由五个不同的乐器演奏一首古典音乐作品 “G 弦上的爱情” 组成。通过改变各个乐器的音量，实现自适应。运用深度强化学习 AI 进行评估，结果表明使用自适应 BGM 时，Blind DL AI 的表现比不使用自适应 BGM 时有所提升。

    Mar, 2023

  • 音乐指挥运动生成中的扩散模型驯服

    该论文提出了 Diffusion-Conductor，它是一种基于 DDIM 的新方法，用于从给定的交响乐中生成乐队指挥的运动，并使用几种新的测量标准进行评估。

    Jun, 2023

  • 舞蹈视频生成中的节拍与视觉融合

    通过音乐作为条件输入，直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则，采用了音乐作为图像到视频生成的条件因素。

    May, 2024

  • Diff-A-Riff: 音乐伴奏共创技术基于潜在扩散模型

    介绍了基于深度生成模型的音乐生成方法 Diff-A-Riff，可通过音频参考、文本提示或两者控制，生成适应任何音乐背景的高质量器乐伴奏，并在 48kHz 伪立体声音频的基础上显著减少推断时间和内存使用。

    Jun, 2024

  • 音乐风格转换的扩散模型

    本研究提出了一种基于扩散模型和基于频谱图的方法实现多对多音乐风格转换，使用 GuideDiff 方法还原频谱图以提高音频质量和生成速度，在消费级 GPU 上能实时生成高质量音频。

    Apr, 2024

  • 提高游戏体验的格斗游戏自适应背景音乐

    本文介绍了通过添加自适应特性来增强 DareFightingICE 背景音乐（BGM）的工作。自适应 BGM 由三个不同类别的乐器组成，播放来自 2022 DareFightingICE 比赛胜者声音设计的 BGM。通过改变每个类别乐器的音量来使 BGM 适应性变化。我们使用深度强化学习 AI 代理（盲 DL AI）进行实验评估自适应 BGM，而该代理仅使用声音作为输入。结果表明，与没有自适应 BGM 时相比，盲 DL AI 在播放自适应 BGM 时的性能有所改善。

    Mar, 2024

  • 无需训练的基于预训练扩散模型的语义视频合成

    通过使用一个预训练的扩散模型，处理具有更大语义差异的复合视频，我们的研究提出了一个无需训练的流程，以确保输出的视觉协调性和跨帧连贯性。

    Jan, 2024