Oct, 2023

镜像扩散模型用于受限和带水印的生成

PDF
TL;DRMirror Diffusion Models 是一种新的扩散模型，能在凸约束集上生成数据而不损失可解性，并且通过学习镜像映射构造的对偶空间中的扩散过程，在应用于简单 xes 和∥2 - 球等流行约束集时，MDM 展现出显著改善的性能。此外，我们还探索了约束集作为一种新机制，将隐藏但定量信息（即水印）嵌入生成的数据中，以达到安全和隐私保护的目的。我们的工作为在复杂领域中学习可解扩散提供了新的算法机会。
发现论文，激发创造
  • 约束扩散模型的神经近似镜像地图

    扩散模型与约束、镜像扩散模型、神经近似镜像映射和约束逆问题相关，通过学习镜像空间和映射方法改善扩散模型的约束满足性和解决约束逆问题的可靠性。

    Jun, 2024

  • 镜像扩散模型

    通过镜像扩散模型 (Mirror Diffusion Models, MDMs) 向离散分类数据应用镜像 Langevin 算法，本文提出了对连续域进行解释的一种理论框架，并在图像和文本生成等领域进行了实证研究。

    Aug, 2023

  • 遮蔽扩散作为自监督表示学习者

    最近，去噪扩散概率模型展示了最先进的生成性能，并被用作强大的像素级表示学习器。本文将扩散模型内在的生成能力与表示学习能力之间的相互关系进行了分解。我们提出了掩蔽扩散模型 (MDM)，这是一种可扩展的自监督表示学习器，用于将传统扩散中的加性高斯噪声替换为遮罩机制。我们所提出的方法在医学和自然图像语义分割任务中明显超越了先前的基准，并在少样本场景下展示了显著的进展。

    Aug, 2023

  • 莫特里卡扩散模型

    引入了 Matryoshka Diffusion Models（MDM），这是一种用于高分辨率图像和视频合成的端到端框架。通过在多个分辨率上联合去噪输入，使用嵌套 UNet 架构和从低到高分辨率的渐进式训练安排，实现了高分辨率生成的显著优化改进。在各种基准测试中展示了该方法的有效性，包括类别条件图像生成、高分辨率文本到图像以及文本到视频应用。在仅包含 1200 万张图像的 CC12M 数据集上，我们可以训练一个单一像素空间模型，分辨率达到 1024x1024 像素，并展现了强大的零样本泛化能力。

    Oct, 2023

  • 受限域的扩散模型

    本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形，包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量，在合成和真实任务中进行了实证表明，包括蛋白质骨架和机器人臂运动的约束构象模拟。

    Apr, 2023

  • 反射扩散模型

    该研究提出了反射扩散模型用于处理复杂任务中分数扩散模型中的数值误差，通过学习扰动得分函数，并扩展标准扩散模型的关键组成部分，包括扩散指导、基于似然的训练和 ODE 采样来从数据支持的反射随机微分方程开始进行反演。

    Apr, 2023

  • 用于受限生成建模的反映式薛定谔桥

    引入反射谢尔宾格算法：一种在多样有界域中生成数据的熵正则化的最优传递方法，通过反演的前后向随机微分方程与诺依曼和罗宾边界条件相结合，扩展基于散度的封闭域似然训练，并探索与熵正则化最优传送的自然联系，用于近似线性收敛的研究 —— 这对实际训练是非常有价值的见解。该算法在多样有界域中产生强大的生成模型，并通过标准图像基准测试展示其可扩展性。

    Jan, 2024

  • 通过水印扩散过程保护扩散模型的知识产权

    本论文提出了一种名为 WDM 的新型数字水印方法，该方法可用于训练或微调扩散模型，学习一个与任务数据标准扩散过程不同的水印扩散过程（WDP），并提供了理论基础和分析，以说明该方法的有效性和鲁棒性。

    Jun, 2023

  • 用于生成３D 分子的几何完备扩散

    提出了 GCDM 模型，该模型采用几何完整的消息传递图神经网络，在 DDPM 框架内宣称新的 3D 分子扩散生成的最新成果，并提供了与分子 DDPM 生成动态相关的物理归纳偏差的初步见解。

    Feb, 2023

  • 保结构扩散模型的量子态生成

    针对量子系统状态的生成建模问题，本文提出了一种基于去噪扩散模型的方法，其关键创新点在于考虑了物理性质中的量子状态约束，通过 Mirror Diffusion Model 和设计出的镜像映射实现了严格保持结构的生成，实验验证了无条件生成和通过无监督分类器引导的条件生成的有效性，后者甚至在未知标签上生成了新的量子状态。

    Apr, 2024