Feb, 2024

生成、重建和表示离散与连续数据：具有可学习的编码解码的广义扩散

PDF
TL;DR通过引入可学习的编码器 - 解码器，DiLED 广义扩展了常规扩散过程的高斯噪声去噪方法，在不同数据类型上具有广泛适用性和提升性能。实验证明 DiLED 在处理各种数据和任务上都有很好的灵活性，并在不同已有模型上取得了显著的改进。
deep generative modelsgeneralized diffusionlearnable encoder-decoderdiledflexibility
发现论文，激发创造
  • 语言生成的潜在扩散

    该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

    Dec, 2022

  • DNA 序列生成的潜在扩散模型

    通过深度生成模型，特别是深度扩散模型，来合成 DNA 序列在合成生物学领域开辟了新的前景。我们提出了一种新颖的潜在扩散模型 (DiscDiff)，通过将离散 DNA 序列嵌入连续的潜在空间，使用自编码器来利用连续扩散模型强大的生成能力生成离散数据。此外，我们引入了一种新的度量标准 Frechet Reconstruction Distance (FReD)，用于衡量 DNA 序列生成结果的样本质量。我们的 DiscDiff 模型能够生成与真实 DNA 序列在 Motif 分布、潜在嵌入分布 (FReD) 和染色质剖面方面紧密相符的合成 DNA 序列。此外，我们还贡献了一个包含 15 个物种的 15 万个唯一启动子 - 基因序列的全面跨物种数据集，为未来基因组学中的生成建模工作提供丰富的资源。我们将在发表后公开我们的代码。

    Oct, 2023

  • DiffEnc：学得的编码器的变分扩散

    用两种改进的扩散模型，DiffEnc 和具有权重参数的扩散损失方法，实现了最先进的 CIFAR-10 评估结果，同时探索了有限深度层次结构和无限深度层次结构中扩散模型的性质。

    Oct, 2023

  • 使用扩散模型进行端到端信道编码学习

    通过扩散模型对信道进行近似处理，提出了一个高效的基于扩散模型的端到端信道编码框架，模拟结果表明扩散模型能准确学习信道分布，从而实现接近最优的端到端符号误码率，并具有在高信噪比区域具有稳健的泛化能力的优势。

    Sep, 2023

  • DiVAE：具有去噪扩散解码器的真实感图像合成

    该研究提出了一种使用 VQ-VAE 和扩散解码器的 DiVAE 图像生成模型，相关实验结果表明该模型能够生成高度逼真的图像，特别适用于条件综合任务。

    Jun, 2022

  • 基于扩散的表示学习

    提出了一种基于扩散的表示学习方法，通过扩展去噪得分匹配框架实现无监督学习；使用此方法学习无限维潜在码，实现半监督图像分类的最优结果，并通过下游任务的表现比较与其他方法的学习表示质量。

    May, 2021

  • 神经网络扩散

    扩散模型以及自动生成的神经网络参数，通过混合使用自动编码器和标准潜在扩散模型，从训练网络参数的随机噪声中合成潜在参数表示，并生成具有可用性的新的网络参数子集，从而稳定地提升性能。

    Feb, 2024

  • 对话生成中改进变分编码器 - 解码器

    本文通过将训练步骤分为两个阶段来解决 KL - 消失问题，采用多层感知器对高斯噪声进行变换来对潜在变量进行采样，从而实现更灵活的分布，实验结果表明，我们的模型在度量和人类评估方面都有大幅度提高。

    Feb, 2018

  • 使用扩散模型生成符号音乐

    本文提出了一种基于预训练变分自编码器的离散领域参数化的扩散模型训练技术，用于离散和连续领域的生成导致更优结果，并在应用于符号音乐领域时表现出很强的无条件生成和条件填充结果，相比基于自回归语言模型的连续嵌入操作更具可行性。

    Mar, 2021

  • 使用扩散模型提供无限数据计划升级 VAE 训练

    通过使用预训练的扩散模型生成的样本进行训练，可以有效减轻变分自动编码器中的过拟合问题，并且表现出更好的泛化性能、缩小的模型猜测效应和更强的鲁棒性。

    Oct, 2023