DiffNAS: 通过促使更好的架构引导扩散模型
基于扩散模型的神经网络结构搜索方法 DiffNAS 可以自动消除结构冗余,从而在减少计算复杂度的同时保持甚至提升性能。实验证明,DiffNAS 可以在潜在的扩散模型中达到 50% 的计算和参数减少,取得显著的计算缩减效果。
Nov, 2023
本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型,并发现这种模型在图像分类任务中具有优异的性能,特别是在经过精心特征选择和池化的情况下,扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法
Jul, 2023
提出了一个基于扩散模型的、可高效生成任务最优神经结构的 DiffusionNAG 架构,它可以利用以前的 NAS 任务和神经结构分布的先前知识生成任务最优的神经结构,并引入一个得分网络,从而确保合法神经结构的生成。我们的扩散 NAG 在体系结构生成功力和计算成本方面明显优于现有的转移 NAG 模型和前面提出的 NAS 方法,在四个计算机视觉数据集上证明了它的有效性。
May, 2023
扩散模型以及自动生成的神经网络参数,通过混合使用自动编码器和标准潜在扩散模型,从训练网络参数的随机噪声中合成潜在参数表示,并生成具有可用性的新的网络参数子集,从而稳定地提升性能。
Feb, 2024
利用连续动力系统设计一种新型去噪网络,以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比,该模型具有约四分之一的参数量和百分之三十的浮点操作数(FLOPs),推理速度提高了 70%,并且收敛到了更好的质量解。
Oct, 2023
通过对 UNet 编码器的全面研究,我们发现编码器特征变化温和,而解码器特征在不同时间步长间存在显著变化。根据这一观察,我们引入了一种简单而有效的编码器传播策略,以加速各种任务的扩散抽样。此外,我们还引入了一种先验噪声注入方法来改善生成图像的纹理细节。在不使用任何知识蒸馏技术的情况下,我们的方法能够加快 Stable Diffusion(SD)和 DeepFloyd-IF 模型的抽样速度分别为 41% 和 24%,同时保持高质量的生成性能。
Dec, 2023
通过多阶段框架和多解码器 U-net 架构,我们提出了一种增强扩散模型训练和采样效率的方案,通过定制每个时间步长的不同参数,同时保留所有时间步长共享的通用参数,有效地分配计算资源并减轻阶段间干扰。
Dec, 2023
通过深度生成模型,特别是深度扩散模型,来合成 DNA 序列在合成生物学领域开辟了新的前景。我们提出了一种新颖的潜在扩散模型 (DiscDiff),通过将离散 DNA 序列嵌入连续的潜在空间,使用自编码器来利用连续扩散模型强大的生成能力生成离散数据。此外,我们引入了一种新的度量标准 Frechet Reconstruction Distance (FReD),用于衡量 DNA 序列生成结果的样本质量。我们的 DiscDiff 模型能够生成与真实 DNA 序列在 Motif 分布、潜在嵌入分布 (FReD) 和染色质剖面方面紧密相符的合成 DNA 序列。此外,我们还贡献了一个包含 15 个物种的 15 万个唯一启动子 - 基因序列的全面跨物种数据集,为未来基因组学中的生成建模工作提供丰富的资源。我们将在发表后公开我们的代码。
Oct, 2023