基于约束采样优化的扩散模型

Feb, 2024

Diffusion Models as Constrained Samplers for Optimization with Unknown Constraints

Lingkai Kong, Yuanqi Du, Wenhao Mu, Kirill Neklyudov, Valentin De Bortol...

TL;DR我们提出了使用扩散模型在数据流形上进行优化的方法，以解决具有未知约束的实际优化问题。通过在 Boltzmann 分布和扩散模型学习的数据分布之间进行采样，我们将原始优化问题转化为采样问题，以限制优化过程在数据流形上进行。通过在初始阶段聚焦在可行解上获得分布，我们的方法在综合实验中展现了与现有的最先进基准方法相当或更好的性能。

Abstract

Addressing real-world optimization problems becomes particularly challenging when analytic objective functions or constraints are unavailable. While numerous studies have addressed the issue of unknown objectives, limited research has focused on scenarios where feasibility constraints

optimization unknown constraints diffusion models data manifold sampling efficiency

发现论文，激发创造

数据驱动的黑箱优化扩散模型

基于扩散模型的条件采样方法，在黑盒优化中生成接近最佳解且保留设计的潜在结构，通过建立理论模型和进行实验验证，证明了奖励导向扩散模型在黑盒优化中的效率和准确性。

Mar, 2024

利用流形约束改进逆问题的扩散模型

通过研究生成采样路径，我们提出了一种附加流形约束修正项的算法，能够优化漫反射模型在无监督的逆问题求解中，尤其在图像修复、着色和计算机断层扫描等领域中表现优异。

Jun, 2022

无监督神经组合优化的扩散模型框架

通过引入一种可以上界反向 Kullback-Leibler 散度且避免要求确切样本似然的损失函数，本研究提出了一种能够解决在不依赖相应训练数据的情况下从难以处理的离散集合中进行采样的问题的方法，并展示了该方法在无数据组合优化中实现了最先进的性能。

Jun, 2024

物理相关扩散模型

通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

Mar, 2024

受限域的扩散模型

本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形，包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量，在合成和真实任务中进行了实证表明，包括蛋白质骨架和机器人臂运动的约束构象模拟。

Apr, 2023

约束感知扩散模型的轨迹优化

基于扩散模型的轨迹优化问题传统上使用神经网络生成高质量且多样化的解决方案，本文提出了一种新颖的考虑约束的扩散模型用于轨迹优化，引入了一种新颖的混合损失函数进行训练，能够最小化扩散样本与真实数据之间的约束违规问题，同时恢复原始数据分布，实验证明在桌面操纵和双车回避问题上，该模型在最小化约束违规和生成接近局部最优解的样本方面优于传统扩散模型。

Jun, 2024

使用扩散图进行稳定的生成建模

我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

Jan, 2024

基于 Metropolis 抽样的约束扩散模型

本文介绍了一种基于 Metropolis 抽样算法的简单去噪方案，证明了该新方法对应于反射布朗运动的有效离散化方法，并在包括地理空间建模、机器人技术和蛋白质设计在内的一系列问题设置上展示了我们方法的可扩展性和灵活性。

Jul, 2023

扩散模型的梯度引导：优化视角

通过梯度引导实现扩散模型的细调，以用户定义的优化目标适应特定任务需求，包括理论研究、梯度引导的采样过程和梯度引导的迭代扩散，以及潜在结构的保留和全局最优解的收敛速率。

Apr, 2024

高效且保证安全的非凸轨迹优化与约束扩散模型

本文提出了一个结合扩散模型和数值求解器的通用且可完全并行化的框架，用于非凸轨迹优化，以确保计算效率和约束满足性。通过引入一种新的受约束扩散模型，并在训练过程中引入附加的约束违反损失来近似局部最优解的分布并减小约束违反情况，得到的样本用作数值求解器的初始猜测，经过形式验证后细化和得出最终解。通过在不同机器人领域上进行实验评估，验证了我们提出的方法在改善约束满足性和计算效率方面的优势，使用我们的方法加速了 4 倍到 22 倍，适用于不同的轨迹优化问题并能很好地适应问题的复杂性。

Feb, 2024