GenerationMania: 学习语义编排
通过将图表生成任务作为一个序列生成任务并使用大型数据集训练 Transformer,我们引入了节奏感预处理和训练流程,发现我们的模型在大型数据集上优于基准模型,并且也受益于预训练和微调。
Nov, 2023
本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法,通过设计一种课程学习策略,使其在长时间序列生成过程中减轻自回归模型中的误差积累,从而有效地捕捉音乐和舞蹈之间的微观对应关系,实验结果表明,该方法在自动度量和人类评估等方面明显优于现有技术水平。
Jun, 2020
该研究采用深度学习方法,实现基于输入节拍生成单声部旋律的任务,提出了三种有效的方法,并结合差异化、谐和性和结构特点,允许任何人通过输入节拍或现有作品的旋律来创作自己的音乐作品。
Jun, 2023
本研究提出了一种基于弱监督深度循环方法的,使用音频功率谱作为输入的基础舞蹈生成模型,采用卷积层和多层 LSTM 处理音频输入,并利用对比代价函数调节音乐和舞蹈节拍之间的映射,同时从舞蹈节拍生成弱标签进行模型训练,实验结果表明,该模型可以在小数据集上生成基础舞蹈步伐,并且保持与基准舞者类似的 F - 分数。
Jul, 2018
我们介绍了一种使用 AI 工具来操纵歌曲情感内容的新方法。我们的目标是在尽可能保持原有旋律的情况下实现所需情感。为此,我们创建了一个交互式流程,能够将输入的歌曲转换为与之截然相反的情感,并通过 Russel 的 Circumplex 模型对结果进行可视化。我们的方法是对现有音乐情感内容进行语义操作的概念验证,这是一个旨在修改现有音乐情感内容的新领域。我们设计了一个深度学习模型,能够评估我们对关键部分、SoundFont 乐器设备以及其他音乐特征的修改准确性。我们的模型准确度与 4Q Emotion 数据集上的最新技术水平相符。通过进一步改进,这项研究可能为按需定制音乐生成、现有作品的自动混音以及情感进展调整的音乐播放列表做出贡献。
Jun, 2024
该论文提出了一种基于自回归生成模型的新方法 DanceNet,以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作,并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能,实验结果表明所提出的方法达到了最先进的效果。
Feb, 2020
本文引入了 DeepJ 这一端到端的生成模型,能够在特定的作曲家风格混合条件下进行音乐创作;该模型包括学习音乐风格和音乐动力学等多种创新方法,通过人类评价表明该模型在风格迁移方面优于 Biaxial LSTM 方法。
Jan, 2018
本文提出了一种以音乐驱动的舞蹈合成框架,能够在保证特定舞蹈风格总体结构一致的同时,生成长期与节拍同步的多样运动,包括连贯的姿势,按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统,包括位姿、动作图案和编舞级别。其中,LSTM 组件生成时间上连续的姿势序列,动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动,编舞级别驱动系统遵循舞蹈总体结构,选择表演动作的顺序。实验表明,该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动,并能控制合成运动的内容。
Nov, 2021
利用循环神经网络,模拟学习了披头士音乐风格和音乐知识,能够在较小人为干预下生成类似披头士风格的音乐作品,并融合音乐理论知识提高音乐质量和结构,生成音乐样品经过专业人士的验证和主观音乐测试,发现其在音乐风格,专业质量和趣味性方面与原作较为接近。
Dec, 2018