ECCVJul, 2020

从视频学习生成音乐的福利音乐

PDF
TL;DR本文介绍了 Foley Music 系统，该系统能够为视频生成逼真的音乐。该系统将视频转换为基于运动的 MIDI 事件，然后利用 Graph-Transformer 框架精确地预测 MIDI 事件序列并转换为逼真的音乐，同时还具有完全可解释和透明的 MIDI 表示形式，可以实现灵活的音乐编辑。实验结果表明，该系统在生成宜人的音乐方面优于现有的几个系统。
foley musicmusic synthesismotion-to-midi translationgraph-transformermusic editing
发现论文，激发创造
  • Video2Music: 使用情感多模态 Transformer 模型从视频中生成合适的音乐

    在本研究中，我们开发了一个名为 Video2Music 的生成音乐 AI 框架，能够根据提供的视频生成配套的音乐。我们的方法通过分析音乐视频获取语义、场景、运动和情感特征，并利用这些特征来指导音乐生成模型。我们还创建了一个称为 MuVi-Sync 的多模态数据集，用于训练新颖的 Affective Multimodal Transformer (AMT) 模型，以生成与视频相匹配的音乐。在实验证明，我们的提出的框架能够生成与视频内容情感相符的音乐，并通过用户研究证实了音乐质量和音乐与视频的匹配质量。我们的提出的 AMT 模型和新数据集 MuVi-Sync 为视频音乐生成任务迈出了有希望的一步。

    Nov, 2023

  • 学习生成寂静视频的逼真音频的初步探索

    通过深度学习的框架及改进的人工音频生成技术，本研究旨在生成与视频相符的逼真音频效果。尝试了多种模型结构，其中基于 Transformer 的架构效果最为优秀，能有效地匹配低频的视觉模式，但在生成细微波形方面表现不佳。

    Aug, 2023

  • 通过模拟 Foley 来从视频生成音频的条件生成

    本文提出了针对视频的音效创建挑战的条件 Foley 问题，通过一种先决条件任务和一种生成模型，成功实现了在保证内容遵循用户提供的音频示例的前提下生成音效。

    Apr, 2023

  • Music2Video：音频和文本融合的自动生成音乐视频

    利用多模态特征空间中的文本和音频嵌入指导生成模型的生成图像，进一步实现音乐视频创作，我们提出的方法需要对视频进行自动分段，同时保持时间上的一致性，与以前的方法不同，我们的方法融合了文本和音频两个模态，展示了良好的应用效果

    Jan, 2022

  • AutoFoley：基于深度学习的无声视频同步音轨的人工合成

    AutoFoley 是一种应用于视频的全自动深度学习工具，它采用了多种技术以识别关键情节并提供与画面同步的渲染音轨，实现了高度逼真和可信的声音合成效果。

    Feb, 2020

  • FoleyCrafter: 用真实且同步的声音赋予无声视频生机

    通过使用 FoleyCrafter 框架，结合语义对齐和音视频同步，实现高质量音效与视频的同步生成，满足用户意图。

    Jul, 2024

  • V2Meow: 通过音乐生成来模拟视觉律动的喵叫

    本文介绍了一种名为 V2Meow 的多阶段自回归模型方法，它不需要使用任何平行的象征性音乐数据，通过预训练的可靠视觉特征即可生成与视频语义相对应的高保真音频波形，并支持对音乐风格的高级控制。

    May, 2023

  • MeLFusion: 使用扩散模型合成基于图像和语言线索的音乐

    音乐综合，机器学习模型，MeLFusion，视觉信息，和 IMSM 对生成的音乐质量产生显著的影响。

    Jun, 2024

  • VidMuse: 一个简单的长短期建模视频音乐生成框架

    本文系统研究了仅基于视频生成音乐的方法，并提出了一个大规模数据集和一个名为 VidMuse 的简单框架，该框架通过在局部和全局可视线索的引导下，使用长短期模型创建与视频内容一致的音频轨迹，实现了高保真度的音乐生成及其与视频的音视一致性对齐。通过广泛的实验证明，VidMuse 在音频质量、多样性和音视对齐方面优于现有模型。

    Jun, 2024

  • SyncFusion：多模始发同步的视频 - 音频佛利合成

    我们提出了一种从视频中提取重复动作起点的系统，并结合音频或文本嵌入到一个训练好的扩散模型中，从而生成一个新的同步音效音轨，有效减轻声音设计师与视频同步的负担，简化声音处理的过程。

    Oct, 2023