使用向量量化离散扩散模型进行特定作曲家风格的符号音乐生成

Oct, 2023

使用向量量化离散扩散模型进行特定作曲家风格的符号音乐生成

Composer Style-specific Symbolic Music Generation Using Vector Quantized Discrete Diffusion Models

Jincheng Zhang, Jingjing Tang, Charalampos Saitis, György Fazekas

TL;DR通过将矢量量化变分自编码器（VQ-VAE）与离散扩散模型结合，我们提出了一种生成具有目标作曲家风格的符号音乐的方法，结果表明，我们的模型在满足给定条件的情况下以 72.36% 的高准确率生成符号音乐。

Abstract

Emerging denoising diffusion probabilistic models (DDPM) have become increasingly utilised because of promising results they have achieved in diverse generative tasks with continuous data, such as image and sound

denoising diffusion probabilistic models generative tasks symbolic music vector quantized variational autoencoder composer styles

发现论文，激发创造

使用扩散模型生成符号音乐

本文提出了一种基于预训练变分自编码器的离散领域参数化的扩散模型训练技术，用于离散和连续领域的生成导致更优结果，并在应用于符号音乐领域时表现出很强的无条件生成和条件填充结果，相比基于自回归语言模型的连续嵌入操作更具可行性。

Mar, 2021

离散扩散概率模型用于符号音乐生成

本文提出了一种使用 Discrete DDPMs (D3PMs) 直接生成 Polyphonic Symbolic Music 的方法，并展示了该模型的高质量和灵活的属性，并警示无法通过量化指标完全评估样本质量。

May, 2023

情绪控制下的快速扩散生成对抗网络模型用于符号音乐生成

我们提出了将扩散模型与生成对抗网络相结合的方法，旨在解决算法音乐生成中的情感控制和计算成本的问题。通过训练变分自编码器得到情感标签的符号音乐数据集的嵌入，并用其来训练扩散模型，我们成功地控制了扩散模型以生成具有特定情感的符号音乐，同时大幅提升了计算效率。

Oct, 2023

文本到图像的向量量化扩散模型

本论文提出了基于矢量量化扩散模型的文本到图像生成方法，在扩散条件变量程序模型的潜在空间中建模基于矢量量化变分自编码器的方法，消除了现有方法中的单向偏差，并允许我们结合掩模和替换扩散策略以避免误差积累，其结果在生成复杂场景的图像方面得到了显着的改进。

Nov, 2021

向量量化自编码器的理论与实验

该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

May, 2018

使用去噪扩散概率模型对分子图进行变分自编码

本文提出了一种新的分子深度生成模型，该模型在概率潜变量中加入分层结构，并能通过小数据集实现有效的分子潜在向量设计和物性预测。

Jul, 2023

Diffsound: 文本生成音效的离散扩散模型

本研究提出了一种基于非自回归解码器、矢量量化变分自编码器、谱图及声码器的文本到声音生成框架，在声音生成效果和速度方面较传统的自回归解码器都有较大的提升。

Jul, 2022

3DQD: 基于部分离散扩散过程的通用深度三维形状先验

本篇论文提出了一个通用的 3D 形状模型生成模型，采用向量量化变分自编码器、离散扩散生成器和多频率融合模块等技术，实现了高保真度、多样性以及跨模态对齐等功能，能够应用在点云补全和多种 3D 形状生成任务中，实验证明其在各种任务中都表现出较高的性能。

Mar, 2023

神经离散表征学习

本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

Nov, 2017

改进的向量量化扩散模型

本文提出两种技术，即分类器无指导采样和高质量推理策略，以进一步提高 VQ-Diffusion 样本质量，实验证明改进的 VQ-Diffusion 显著优于原始版本。

May, 2022