通过热传导实现高效的组合优化
通过引入一种可以上界反向 Kullback-Leibler 散度且避免要求确切样本似然的损失函数,本研究提出了一种能够解决在不依赖相应训练数据的情况下从难以处理的离散集合中进行采样的问题的方法,并展示了该方法在无数据组合优化中实现了最先进的性能。
Jun, 2024
基于图的扩散模型在解决 NP 完全问题的组合优化中展现了有希望的结果。然而,由于去噪扩散过程的迭代评估特性,这些模型通常在推理时效率低下。本文提出使用渐进蒸馏来加速推理过程,通过在去噪过程中只进行少量步骤的预测(例如,在单个步骤中预测未来两步)。我们的实验结果表明,经过渐进蒸馏的模型在 TSP-50 数据集上仅仅损失 0.019% 的性能,而推理速度却提高了 16 倍。
Aug, 2023
我们提出了使用扩散模型在数据流形上进行优化的方法,以解决具有未知约束的实际优化问题。通过在 Boltzmann 分布和扩散模型学习的数据分布之间进行采样,我们将原始优化问题转化为采样问题,以限制优化过程在数据流形上进行。通过在初始阶段聚焦在可行解上获得分布,我们的方法在综合实验中展现了与现有的最先进基准方法相当或更好的性能。
Feb, 2024
通过使用具有防碰撞功能的扩散核进行训练,我们提出了一种在推理时间仅使用单个视觉输入生成可达目标并规划避开障碍物的运动的方法,该方法有效解决了推理时间障碍物检测和额外设备需求的挑战,在多模态环境中具有鲁棒性,能够导航到目标并避免由障碍物阻挡的不可达目标,同时确保避免碰撞。
Oct, 2023
优化离散参数存在约束问题,我们使用带有温度的随机 S 型函数,并提出了新的自适应梯度方法 CONGA。通过一个个体群体来搜索最优解,每个个体根据 ' 环境 ' 的梯度变化,并由具有不同退火进程的两个温度参数来描述。未经适应的个体消亡,而最优个体繁殖,其结果是定向的进化动力学。我们利用著名的背包完全装配(0-1 KP)问题来说明所提出的方法。
Jan, 2024
我们提出了一种新的算法,用于优化由参数化的随机扩散隐式定义的分布,通过在参数上进行优化,我们可以修改抽样过程的结果分布。我们引入了一个用于这些过程的一阶优化的通用框架,该框架在单个循环中执行优化和抽样步骤。这种方法受到了双层优化和自动隐式微分的最新进展的启发,利用了抽样作为概率分布空间上优化的观点。我们对我们的方法的性能提供了理论保证,并在真实场景中展示了其有效性的实验证据。
Feb, 2024
本文提出了一种基于扩散算法生成图像的模型,将前向热方程的解释为噪声后的扩散潜变量模型的变分近似。其具有整体颜色和形状解耦的性质,同时通过自然图像上的谱分析,揭示了其暗含的自上而下的归纳偏置。
Jun, 2022