Mar, 2023

适应性格斗游戏背景音乐：一种多乐器音量调制方法

PDF
TL;DR本文提出使用自适应背景音乐（BGM）增强 DareFightingICE 的方法。自适应 BGM 由五个不同的乐器演奏一首古典音乐作品 “G 弦上的爱情” 组成。通过改变各个乐器的音量，实现自适应。运用深度强化学习 AI 进行评估，结果表明使用自适应 BGM 时，Blind DL AI 的表现比不使用自适应 BGM 时有所提升。
background musicadaptive bgmclassical musicdeep reinforcement learningaudio
发现论文，激发创造
  • 提高游戏体验的格斗游戏自适应背景音乐

    本文介绍了通过添加自适应特性来增强 DareFightingICE 背景音乐（BGM）的工作。自适应 BGM 由三个不同类别的乐器组成，播放来自 2022 DareFightingICE 比赛胜者声音设计的 BGM。通过改变每个类别乐器的音量来使 BGM 适应性变化。我们使用深度强化学习 AI 代理（盲 DL AI）进行实验评估自适应 BGM，而该代理仅使用声音作为输入。结果表明，与没有自适应 BGM 时相比，盲 DL AI 在播放自适应 BGM 时的性能有所改善。

    Mar, 2024

  • Diff-BGM: 视频背景音乐生成的扩散模型

    本文通过提出高质量的音乐视频数据集 BGM909 并进行详细注释和镜头检测，使用检索精确度度量标准来评估音乐质量，提出了 Diff-BGM 框架，以自动为给定的视频生成背景音乐，并引入片段感知交叉注意力层进行视频和音乐的顺序对齐，实验证明了我们提出方法的有效性。

    May, 2024

  • DareFightingICE 中的深度强化学习盲 AI

    本研究提出了一种使用声音作为输入的深度强化学习代理（AI），称为盲 AI，在 IEEE CoG 2022 的 DareFightingICE 平台上进行比赛，并提出了不同的处理音频数据的方法和使用 PPO 算法的建议，还定义了评估参赛声音设计的两个指标。实验结果显示了我们的盲 AI 和两个指标的有效性。

    May, 2022

  • 桌面角色扮演游戏的计算机产生音乐

    本文介绍 Bardo Composer，一种生成背景音乐的系统，它使用语音识别将玩家的话转换成情感分类的文本，并使用我们在本文中介绍的随机双目标束搜索的变种，结合神经模型生成传达所需情感的音乐作品，并通过用户研究验证其有效性。

    Aug, 2020

  • 可控音乐变换器生成视频背景音乐

    本文提出了一种基于 Controllable Music Transformer 的视频背景音乐生成方法，该方法考虑到了视频与背景音乐之间的韵律一致性，可以同时实现对音乐类型、乐器等因素的全局与局部控制，生成的音乐具有较好的兼容性和卓越的质量。

    Nov, 2021

  • MusicLDM: 使用节奏同步混合策略增强文本生成音乐中的新颖性

    通过构建一种文本到音乐模型，并利用分布式扩散模型和音频广义线性模型来进行训练以生成新音乐，解决了音乐生成过程中的数据不足、版权和抄袭等问题。同时通过节拍跟踪和两种不同的数据增强策略，即拍子同步音频混合和拍子同步潜在混合，实现对训练数据的重组，从而生成多样化且保持风格一致的音乐。最终，通过基于对比语音 - 音频预训练模型的评估指标，进一步证明了所提出的音乐生成模型和拍子同步混合策略能够提高生成音乐的质量、创新性和与输入文本的对应关系。

    Aug, 2023

  • 音乐情感操控 -- 基于深度学习的交互视觉方法

    我们介绍了一种使用 AI 工具来操纵歌曲情感内容的新方法。我们的目标是在尽可能保持原有旋律的情况下实现所需情感。为此，我们创建了一个交互式流程，能够将输入的歌曲转换为与之截然相反的情感，并通过 Russel 的 Circumplex 模型对结果进行可视化。我们的方法是对现有音乐情感内容进行语义操作的概念验证，这是一个旨在修改现有音乐情感内容的新领域。我们设计了一个深度学习模型，能够评估我们对关键部分、SoundFont 乐器设备以及其他音乐特征的修改准确性。我们的模型准确度与 4Q Emotion 数据集上的最新技术水平相符。通过进一步改进，这项研究可能为按需定制音乐生成、现有作品的自动混音以及情感进展调整的音乐播放列表做出贡献。

    Jun, 2024

  • DareFightingICE 比赛：一个格斗游戏声音设计和 AI 竞赛

    该论文介绍了一项新的比赛 ——DareFightingICE 比赛，在该比赛中，参与者将分别与他们的对手对战来展示他们最棒的声音设计和 AI 算法，并且此比赛挑战是视障人士视频游戏社区中被忽视的新兴领域。

    Mar, 2022

  • 基于深度神经网络的音频和歌词的音乐情感检测

    本研究考虑了基于音频信号和歌词的多模态音乐情绪预测任务，复现传统特征工程方法的基础上提出了一种基于深度学习的新模型，证明了新方法相较于传统模型更擅长于唤起用户的注意，而在情感预测上两种方法表现相当。此外，我们还比较了不同的融合方法，在同时优化各单模态模型时取得了较大的提升，并向公众发布部分数据以供参考。

    Sep, 2018

  • Video2Music: 使用情感多模态 Transformer 模型从视频中生成合适的音乐

    在本研究中，我们开发了一个名为 Video2Music 的生成音乐 AI 框架，能够根据提供的视频生成配套的音乐。我们的方法通过分析音乐视频获取语义、场景、运动和情感特征，并利用这些特征来指导音乐生成模型。我们还创建了一个称为 MuVi-Sync 的多模态数据集，用于训练新颖的 Affective Multimodal Transformer (AMT) 模型，以生成与视频相匹配的音乐。在实验证明，我们的提出的框架能够生成与视频内容情感相符的音乐，并通过用户研究证实了音乐质量和音乐与视频的匹配质量。我们的提出的 AMT 模型和新数据集 MuVi-Sync 为视频音乐生成任务迈出了有希望的一步。

    Nov, 2023