为音乐 VR 游戏生成关卡
该论文提出了一个基于深度生成模型的节奏动作游戏生成方法 Gen'eLive!,其应用可以减少业务操作成本,该模型通过考虑节拍和时间尺度提高了音乐结构的生成效果,并成功地应用于日本 KLab 公司《Love Live!》等游戏的制作中。
Feb, 2022
这篇论文探讨了使用深度神经网络自动生成任意音乐的游戏阶段 - 即图表 - 的方法,并且通过多层前馈神经网络和规则确定玩家的控制方式,成功提高了预测音乐节奏和创作图表的准确度。
Jun, 2018
本文介绍了一种新的基于语言提示生成音乐鼓点的方法,同时开发了提取歌曲鼓点的新方法,这为计算机辅助音乐制作提供了可能,并为更全面的节奏生成提供了基础。
Sep, 2022
本文提出了一种以音乐驱动的舞蹈合成框架,能够在保证特定舞蹈风格总体结构一致的同时,生成长期与节拍同步的多样运动,包括连贯的姿势,按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统,包括位姿、动作图案和编舞级别。其中,LSTM 组件生成时间上连续的姿势序列,动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动,编舞级别驱动系统遵循舞蹈总体结构,选择表演动作的顺序。实验表明,该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动,并能控制合成运动的内容。
Nov, 2021
通过将图表生成任务作为一个序列生成任务并使用大型数据集训练 Transformer,我们引入了节奏感预处理和训练流程,发现我们的模型在大型数据集上优于基准模型,并且也受益于预训练和微调。
Nov, 2023
本文基于经验驱动的强化学习和可控强化学习,构建了一个名为 OPARL 的通用框架,能够实现基于音乐的在线水平生成。通过一种新颖的基于局部搜索和 k 最近邻的控制策略,OPARL 能够考虑在线收集的游戏数据来控制关卡生成器,生成难度级别与音乐的 “动能” 动态相匹配。通过仿真实验表明,OPARL 的实现能够在在线的方式下为不同的人工玩家生成可玩的关卡。
Jul, 2022
DeepRapper 是一种基于 Transformer 的说唱生成系统,可以模拟说唱的韵律和节奏,通过逆向生成具备韵律表现形式的歌词,并在其中插入特殊符号以表现节奏,在宏观和微观层面上评估显示 DeepRapper 生成的歌曲质量高且具有创造性。
Jul, 2021
该论文介绍了一个称为 LORIS 的新框架,用于在长期条件下生成可靠的波形,以生成与节奏视觉提示同步的音乐配乐,并扩展其模型的适用性,从舞蹈到多种体育场景,如地面练习和花样滑冰。
May, 2023
通过引入针对强化学习通用化的 Avalon 挑战集,旨在帮助深度强化学习系统更好地适应于新任务和不同的环境,该集合基于高度多样化的 3D 环境,要求机器人体现出导航、狩猎和采集等能力,在每个地图中生存下来,该挑战集不仅限于改变环境仍使用相同的奖励函数、世界动力学和动作空间,每个任务都要求机器人在复杂程度上有所提升,Avalon 挑战集包括高效的仿真器和基准库,可用于基本检测和评分,现有的标准强化学习基线在大多数任务上都有进展,但仍远非人类表现,说明 Avalon 挑战集足够具有挑战性,可进一步推动深度强化学习通用化研究的进展。
Oct, 2022