具有最优协方差匹配的扩散模型
本文探讨了通过采用对角线和全方差提高 DPM 模型的表现力,同时基于函数噪声的条件期望估计提出了一种最优协方差和其校正的方法,并通过两阶段训练过程进行了实现以提高效率。通过实验表明,我们的方法在可能性结果上优于各种协方差设计,并在少量时间步长上提高了样本质量。
Jun, 2022
建立可靠的对应关系对于 3D 和 2D3D 对准等任务至关重要。为了解决大变形、尺度不一致和模糊匹配问题所带来的挑战,本文引入了一种用于建立鲁棒对应关系的扩散匹配模型,在双随机矩阵空间内将对应估计视为去噪扩散过程,逐步去噪(细化)双随机匹配矩阵至准确的匹配矩阵,以进行高质量的对应估计。该方法在 3D 和 2D3D 对准任务上的评估验证了其有效性。
Mar, 2024
通过创新性地将逆扩散视为不同阶段的潜变量之间的最优传输(OT)问题,提出了 DPM-OT,一种用于快速 DPM 的统一学习框架,通过 OT 映射表示直接快速生成高质量样本,具有约 10 个函数评估内的优秀表现。大量实验证实了 DPM-OT 在速度和质量(FID 和模式混合)方面的有效性和优势,因此为生成建模提供了高效的解决方案。
Jul, 2023
最新的扩散模型为嘈杂的线性反问题提供了一种无需为特定反问题重新训练的有希望的零样本解决方案。本文首次从条件抽样的逆扩散过程的条件后验均值的近似角度解释了现有的零照片方法。我们揭示了最新方法相当于对给定扩散嘈杂图像的干净图像的不可行后验分布进行各向同性高斯近似,唯一的不同在于各向同性后验协方差的手工设计。受此发现的启发,我们提出了一种基于最大似然估计的通用即插即用后验协方差优化方法,以改善最新方法。为了实现无需重新训练的最优后验协方差,我们提供了基于两种方法的通用解决方案,这两种方法专门设计用于利用具有和不具有逆协方差的预训练模型。实验结果表明,所提出的方法显著提高了最新方法的整体性能或对超参数的鲁棒性。可在此链接获取代码。
Feb, 2024
该研究提出了一种使用贝叶斯方法的动态模型来准确预测多元金融数据中的时间变化协方差,通过假设参数值的扩散过程来捕捉市场条件的变化,使用粒子滤波器进行计算,解决了超拟合、局部最优和大量计算成本等问题。实验结果表明该算法在金融数据分析中表现出色。
May, 2013
该研究论文通过严格证明特定 DPM 去噪策略在大量扩散步骤中收敛于均方误差最优条件均值估计器,为 DPMs 的理论理解做出了创新的贡献,并通过数值结果验证了理论发现。
Mar, 2024
通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束,从而提高生成样本与约束的一致性,且相较于现有方法有更好的性能且不影响推断速度;该方法还可以自然地防止过拟合。
Mar, 2024
我们提出了一种新的方法,通过匹配沿采样轨迹给定噪声数据的干净数据的条件期望来将扩散模型加速采样,从而将多步扩散模型提炼为少步模型。我们的方法扩展了最近提出的一步方法到多步情况,并通过以矩匹配的方式解释这些方法,从而提供了一种新的视角。通过使用多达 8 个采样步骤,我们获得的提炼模型不仅在 Imagnet 数据集上超越了其一步版本,还超越了原始的多步教师模型,获得了最新的最先进结果。我们还展示了一种大型文本到图像模型的有希望结果,在该模型中,我们可以直接在图像空间中快速生成高分辨率图像,而无需自编码器或上采样器。
Jun, 2024