U-Nets 作为信念传播：在生成层次模型中高效分类、去噪和扩散

Apr, 2024

U-Nets 作为信念传播：在生成层次模型中高效分类、去噪和扩散

U-Nets as Belief Propagation: Efficient Classification, Denoising, and Diffusion in Generative Hierarchical Models

Song Mei

TL;DR通过研究某些生成式分层模型，本文引入了 U-Net 架构的新解释，它是一种在语言和图像领域广泛使用的树状结构图模型。我们演示了 U-Net 如何自然地在这些生成式分层模型中实现置信传播去噪算法，并以此高效逼近去噪函数。此外，我们讨论了这些发现对生成式分层模型中扩散模型的更广泛影响，还证明了卷积神经网络 (ConvNets) 的传统架构在这些模型中非常适合分类任务，从而突显出生成式分层模型在语言和图像领域中建模复杂数据分布的多功能性。

Abstract

u-nets are among the most widely used architectures in computer vision, renowned for their exceptional performance in applications such as image segmentation, denoising, and diffusion modeling. However, a theoretical explanation of the U-Net →

u-nets architecture design generative hierarchical models belief propagation denoising algorithm convnets

发现论文，激发创造

U-Net 设计与分析的统一框架

本文提出了一个设计和分析通用 U-Net 体系结构的框架，介绍了它们在编码器和解码器中的作用，通过预处理与 ResNets 的相关性及其高分辨率缩放极限，为 PDE 模型、图像分割和扩散模型提供了更好的性能，并提出设计新的 U-Net 架构以便超越方形外的多种问题

May, 2023

扩散模型在图像分类上胜过 GAN

本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型，并发现这种模型在图像分类任务中具有优异的性能，特别是在经过精心特征选择和池化的情况下，扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法

Jul, 2023

图 U-Net

本文提出了面向图形数据的表示学习的新方法，包括 gPooling 和 gUnpooling，并基于这些方法开发了一种编码器 - 解码器模型 —— 图形 U-Nets，实验结果表明该模型在节点分类和图形分类任务中的性能明显优于先前的模型。

May, 2019

Diffusion U-Net 中的免费午餐

我们利用扩散 U-Net 的潜力，提出了一种名为 “FreeU” 的简单而有效的方法，通过重新加权 U-Net 的跳跃连接和骨干特征图的贡献，结合两个组件的优势，大大提高了生成质量。

Sep, 2023

解构扩散模型中 Unet 的时态动力学

通过研究 Unet 在去噪扩散概率模型中的动态行为，我们系统评估了时间步长和核心 Unet 组件对最终输出的影响，发现其中的生成阶段和 Unet 在推断中的使用模式，进而识别出改进 DDPM 中的冗余以提高推断速度，同时在输出质量方面几乎没有损失。我们的目标是为推断过程指导更明智的优化策略并影响新模型设计。

Dec, 2023

加快扩散：重新思考 Diffusion 模型中 UNet 编码器的作用

通过对 UNet 编码器的全面研究，我们发现编码器特征变化温和，而解码器特征在不同时间步长间存在显著变化。根据这一观察，我们引入了一种简单而有效的编码器传播策略，以加速各种任务的扩散抽样。此外，我们还引入了一种先验噪声注入方法来改善生成图像的纹理细节。在不使用任何知识蒸馏技术的情况下，我们的方法能够加快 Stable Diffusion（SD）和 DeepFloyd-IF 模型的抽样速度分别为 41% 和 24%，同时保持高质量的生成性能。

Dec, 2023

iUNets：可学习上 / 下采样的全可逆 U-Nets

本篇论文介绍了一种基于可逆 U-Net 结构的新型网络 iUNet，它采用了新颖的可学习可逆上下采样操作，可以在同样的 GPU 存储限制下，训练更深更大的网络，并用于建立正则化流模型。

May, 2020

增强图形 U-Nets 用于不受网格维度和时空流预测

该研究致力于克服基于卷积神经网络的传统深度学习方法在复杂几何形状和非结构化网格方面的局限性，提出了改进图形 U-Net 体系结构的新方法，包括高斯混合模型卷积算子和噪声注入方法，这些方法使得在不同网格配置上能够准确预测流场的时空变化。研究还探讨了图形 U-Net 在转导学习和归纳学习方面的应用，并发现无池化操作的图形 U-Net 在归纳学习中表现更好，而归一化技术的选择对图形 U-Net 的性能也有显著影响。

Jun, 2024

无文本扩散模型是否学习到有辨别力的视觉表征

一个统一的表示学习模型，通过使用扩散模型、U-Net、注意机制和反馈机制，能够在多个任务上竞争最先进的无监督图像表示学习方法。

Nov, 2023

因式分解扩散结构用于无监督图像生成与分割

我们发展了一种神经网络架构，以无监督的方式作为去噪扩散模型进行训练，同时学习生成和分割图像。通过去噪扩散目标来推动学习，无需任何注释或有关区域的先验知识进行训练。神经网络的计算瓶颈鼓励去噪网络将输入分成区域，在并行处理中去噪并结合结果。我们训练的模型生成了合成图像，并通过简单检测其内部预测分割来进行语义分割。在没有任何微调的情况下，我们直接将我们的无监督模型应用于通过加噪和随后去噪来分割真实图像的下游任务。实验表明，我们的模型在多个数据集上实现了准确的无监督图像分割和高质量的合成图像生成。

Sep, 2023