- 扩散 PDE:部分观测下的生成性偏微分方程求解
通过使用生成扩散模型,我们引入了一个解决偏微分方程(PDEs)的通用框架,特别关注在没有足够知识的情况下应用经典解算器的场景,并提出了 DiffusionPDE 方法,可同时填补缺失信息并解决 PDE 问题,通过建模解空间和系数空间的联合分 - ICML时间展开:4D 湍流流动的生成建模
该研究介绍了一种生成扩散模型和物理引导技术,可以生成逼真的流动状态序列,从而实现对湍流流动的时间演变的分析,为生成建模在湍流动力学复杂性研究中提供了宝贵的见解。
- 揭示大型生成网络的光芒:扩散模型中估计认识不确定性
Diffusion Ensembles for Capturing Uncertainty (DECU) is an innovative framework designed to estimate epistemic uncertain - 生成型扩散模型的非平衡物理学
透明物理分析推导了扩散模型中的涨落定理、熵产生、Franz-Parisi 势函数,从非平衡物理的角度理解了最近发现的内在相变现象,该统一原理预计将引导机器学习从业者设计更好的算法,也将把机器学习与非平衡热力学联系起来。
- 生成式扩散模型的理论研究综述
生成扩散模型的理论发展主要分为两种方法,基于训练和基于采样,将这些方法明确分类为研究者未来进行新发展提供清晰可理解的方向。
- CVPRSD-DiT:释放扩散变换器中自监督辨别的力量
通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果,并在 ImageNet 数据集上进行了广泛实验,实现了训练成本和生成能力之间的竞争平衡。
- 软约束薛定谔桥:一种随机控制方法
通过允许终端分布与 μ_T 不同,但惩罚两个分布之间的 Kullback-Leibler 散度,我们提出了一种软约束的 Schrödinger bridge(SSB)的最优控制方法,并且从理论上推导了其解决方案,表明最优控制过程的终端分布是 - 扩散模型的动力学区域
利用统计物理方法,我们研究了在空间维度和数据量非常大且得分函数经过最优训练的情况下的生成性扩散模型。我们的分析揭示了在向后生成性扩散过程中的三个不同的动力学阶段。生成动力学从纯噪声开始,首先经历了一次 “分化” 转变,其中数据的总体结构得到 - 约束满足的投影式生成扩散模型
本文介绍了一种投影生成扩散模型(PGDM),通过对约束优化问题的迭代投影方法,使生成的数据忠实地遵循指定的约束条件或物理原理,并在复杂非凸约束和常微分方程的情况下进行了大量的理论和实证支持,展示了在视频生成中的物理信息运动、路径规划中的轨迹 - 非线性和无限维扩散过程的条件化
利用无限维 Girsanov 定理条件化函数值随机过程,得到调节过程的随机微分方程,并应用该技术进行进化生物学中形态的时间序列分析。
- 增强用集成方法的基于分数抽样方法
利用基于分数的采样方法引入集合模型,从而通过利用粒子集合的集体动力学来计算近似反扩散漂移,解决了在概率分布复杂、梯度不可用的情况下建模的问题。
- FreeStyle:使用扩散模型进行文本引导的风格转换的免费午餐
本文介绍了一种创新的基于预训练大型扩散模型的风格转换方法 FreeStyle,无需进一步优化,通过对所需风格的文本描述,实现风格转换,并且实验结果表明了其在不同内容图像和风格文本提示下的高质量综合和保真度。
- 可塑扩散:单图像化身创造的三维一致扩散
本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中,增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下,生成流水线模型在单图像的新视角合成任务上的性能 - 个性化修复通过双轴调节
通过 Dual-Pivot Tuning 方法进行个性化修复,从而在保持普遍先验和每个组件的独特角色完整性的同时,实现对给定个体的面部特征准确表达和重建。个性化先验不仅在身份准确性方面优于最先进的通用先验,而且在图像质量方面也表现出色。
- 单目深度估计中扩展基于扩散的图像生成器的重新利用
从单幅图像恢复 3D 深度是一项基础的计算机视觉任务,本研究提出了一种基于稳定扩散方法的仿射不变单目深度估计方法 Marigold,通过使用先前生成扩散模型中捕获的大量先验知识,该方法在各种数据集上取得了最先进的性能表现。
- 功能扩散
我们提出了一种新型的生成扩散模型,称为功能性扩散。与以前的工作相比,功能性扩散适用于由具有连续域的函数表示的样本。功能性扩散可以看作是将经典扩散模型扩展到无限维度域的一种扩展。功能性扩散非常适用于处理图像、视频、音频、3D 形状、变形等不同 - 格点场论的生成扩散模型
该研究通过将生成扩散模型(DMs)与随机量子化与随机微分方程的角度链接,深入探讨了机器学习与晶格场论之间的联系。我们展示了 DMs 可以通过逆转由 Langevin 方程驱动的随机过程的方式进行概念化,从而生成来自初始分布的样本以近似目标分 - 生成扩散模型的统计热力学
通过研究发现,生成扩散模型可以用平衡统计力学的工具进行理解,并且这些模型经历了与对称性破缺现象相对应的二阶相变。作者还探讨了最近有关扩散模型与联想记忆网络的研究,并从热力学的角度进行了论述。
- 基于行动原理的生成扩散
生成扩散模型通过将给定的数据集转化为通用噪声的扩散过程逆转来合成新样本,通过训练神经网络来匹配给定数据集的概率分布的对数梯度,同时将逆扩散视为最优控制问题,从而证明了得分匹配可以从动作原理派生出来,类似于物理学中常用的那些;我们利用这一观点 - 通过分数蒸馏实现对基于扩散模仿的有效保护
本研究针对生成扩散模型,发现攻击点在于编码器模块,并提出了 Score Distillation Sampling (SDS) 策略来保护图像并减少内存占用,同时通过最小化语义损失生成更自然的扰动,希望能够为恶意扩散模仿的防御做出贡献。