Nov, 2023
InstrumentGen: 从文本生成基于样本的音乐乐器
InstrumentGen: Generating Sample-Based Musical Instruments From Text
TL;DR我们介绍了文本到乐器的任务，旨在根据文本提示生成基于采样的音乐乐器。我们提出了InstrumentGen模型，它将文本提示的生成音频框架扩展到乐器家族、源类型、音高（跨越88个键），速度以及文本/音频嵌入进行条件处理。此外，我们提出了一个可微分的损失函数来评估基于采样的乐器的时间一致性。我们的结果为文本到乐器的基准建立了基础，并扩展了自动生成基于采样的乐器的领域研究。