DDMI: 领域不可知的潜在扩散模型用于合成高质量的隐式神经表示

Jan, 2024

DDMI: 领域不可知的潜在扩散模型用于合成高质量的隐式神经表示

DDMI: Domain-Agnostic Latent Diffusion Models for Synthesizing High-Quality Implicit Neural Representations

Dogyun Park, Sihyeon Kim, Sojin Lee, Hyunwoo J. Kim

TL;DR我们提出了用于隐式神经表示的无领域隐性扩散模型 (Domain-agnostic Latent Diffusion Model)，该模型生成自适应位置嵌入，而不是神经网络的权重。我们还引入了一种用于评估隐式神经表示的新型条件机制，通过分层分解的位置嵌入进一步增强了表达能力。在四种领域（2D 图像、3D 形状、神经辐射场和视频）上进行的广泛实验，使用了七个基准数据集，展示了 DDMI 的多功能性和优越的性能，相比现有的隐式神经表示生成模型。

Abstract

Recent studies have introduced a new class of generative models for synthesizing implicit neural representations (INRs) that capture arbitrary continuous signals in various domains. These models opened the door f

generative models implicit neural representations positional embeddings domain-agnostic latent diffusion model discrete-to-continuous space variational autoencoder

发现论文，激发创造

使用潜在扩散模型进行高分辨率图像合成

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021

使用扩散模型进行未见图像合成

通过使用预训练和冻结的去噪扩散概率模型 (DDPM) 来逆向编码并优化隐藏域，从未见过的域图像合成，证明了这种新颖视角探索和重新思考扩散模型的数据合成广义能力的有效性。

Oct, 2023

差分隐私潜在扩散模型

研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

May, 2023

生成、重建和表示离散与连续数据：具有可学习的编码解码的广义扩散

通过引入可学习的编码器 - 解码器，DiLED 广义扩展了常规扩散过程的高斯噪声去噪方法，在不同数据类型上具有广泛适用性和提升性能。实验证明 DiLED 在处理各种数据和任务上都有很好的灵活性，并在不同已有模型上取得了显著的改进。

Feb, 2024

使用扩散模型生成符号音乐

本文提出了一种基于预训练变分自编码器的离散领域参数化的扩散模型训练技术，用于离散和连续领域的生成导致更优结果，并在应用于符号音乐领域时表现出很强的无条件生成和条件填充结果，相比基于自回归语言模型的连续嵌入操作更具可行性。

Mar, 2021

DNA 序列生成的潜在扩散模型

通过深度生成模型，特别是深度扩散模型，来合成 DNA 序列在合成生物学领域开辟了新的前景。我们提出了一种新颖的潜在扩散模型 (DiscDiff)，通过将离散 DNA 序列嵌入连续的潜在空间，使用自编码器来利用连续扩散模型强大的生成能力生成离散数据。此外，我们引入了一种新的度量标准 Frechet Reconstruction Distance (FReD)，用于衡量 DNA 序列生成结果的样本质量。我们的 DiscDiff 模型能够生成与真实 DNA 序列在 Motif 分布、潜在嵌入分布 (FReD) 和染色质剖面方面紧密相符的合成 DNA 序列。此外，我们还贡献了一个包含 15 个物种的 15 万个唯一启动子 - 基因序列的全面跨物种数据集，为未来基因组学中的生成建模工作提供丰富的资源。我们将在发表后公开我们的代码。

Oct, 2023

基于扩散的表示学习

提出了一种基于扩散的表示学习方法，通过扩展去噪得分匹配框架实现无监督学习；使用此方法学习无限维潜在码，实现半监督图像分类的最优结果，并通过下游任务的表现比较与其他方法的学习表示质量。

May, 2021

扩散变分推断：扩散模型作为表达丰富的变分先验

我们提出了去噪扩散变分推断（DDVI）算法，它是一种基于扩散模型作为表达性变分后验的潜变量模型的近似推断算法。我们的方法通过辅助潜变量来增强变分后验，从而得到一类表达性模型，通过反转用户指定的噪声过程在潜变量空间中进行扩散。通过优化受 wake-sleep 算法启发的边缘似然的一种新的下界，我们拟合这些模型。我们的方法易于实现（它适用于正则化的 ELBO 进一步扩展），与黑盒变分推断兼容，并且优于基于归一化流或对抗网络的替代近似后验类别。当应用于深层潜变量模型时，我们的方法得到了去噪扩散 VAE（DD-VAE）算法。我们将该算法应用于生物学中的一个激励任务 -- 从人类基因组推断潜在祖先 -- 在 Thousand Genomes 数据集上优于强基线模型。

Jan, 2024

最大化域独立性表示改进迁移学习

本文介绍了一种新的方法，将敌对模型与变分自编码器相结合，利用领域无关表示和领域相关表示以及对后者进行大小惩罚的机制来进行跨领域学习，并在多个图像数据集上展示了它对于预训练模型的优越性。

Jun, 2023

DiffuseVAE: 从低维潜变量中高效、可控、高保真生成

提出了一种新的生成框架 DiffuseVAE，它将 VAE 与扩散建模框架相结合，为扩散模型提供了低维的 VAE 学习到的潜在代码，从而能够用于控制合成等下游任务，并且在速度与质量的平衡方面比标准无条件 DDPM / DDIM 模型要好，同时表现出与最先进的模型可比的综合质量，还显示出天生的对不同类型的噪声具有泛化能力。

Jan, 2022