通过期望最大化从观测中学习扩散先验
使用扩散模型解决逆问题是一个增长迅速的研究领域。我们设计了一种基于期望最大化（EM）估计方法和扩散模型的算法，通过近似计算扩散模型的样本绘制的逆问题的期望对数似然，以及最大化步骤来估计未知的模型参数。我们还引入了一种基于 Plug & Play 去噪器的新型模糊核正则化方法。通过对盲目图像去模糊进行广泛实验证明了我们的方法与其他最先进方法相比的有效性。
Sep, 2023
本文提出一种扩展扩散模型求解广泛的噪声非线性逆问题的方法，该方法利用后验采样实现扩散采样和流形约束梯度融合，并适用于各种噪声统计和非线性问题，代码公开。
Sep, 2022
最新的扩散模型为嘈杂的线性反问题提供了一种无需为特定反问题重新训练的有希望的零样本解决方案。本文首次从条件抽样的逆扩散过程的条件后验均值的近似角度解释了现有的零照片方法。我们揭示了最新方法相当于对给定扩散嘈杂图像的干净图像的不可行后验分布进行各向同性高斯近似，唯一的不同在于各向同性后验协方差的手工设计。受此发现的启发，我们提出了一种基于最大似然估计的通用即插即用后验协方差优化方法，以改善最新方法。为了实现无需重新训练的最优后验协方差，我们提供了基于两种方法的通用解决方案，这两种方法专门设计用于利用具有和不具有逆协方差的预训练模型。实验结果表明，所提出的方法显著提高了最新方法的整体性能或对超参数的鲁棒性。可在此链接获取代码。
Feb, 2024
DiffPuter 是一种迭代方法，利用期望最大化算法和扩散模型进行缺失数据填补，其通过将缺失数据视为可在模型训练过程中更新的隐藏变量，并将缺失数据填补任务作为 EM 问题来处理。DiffPuter 通过扩散模型来学习观测到的数据和当前估计的缺失数据的联合分布，然后根据给定观测数据的条件概率利用在 M-step 学习的扩散模型重新估计缺失数据，通过这个迭代过程，DiffPuter 逐步改进了完整数据分布，产生了对缺失数据越来越准确的估计，理论分析和实证评估表明 DiffPuter 的优越性，与 16 种不同的填补方法相比，在 10 个不同的数据集上，DiffPuter 的 MAE 平均改善了 8.10％，RMSE 平均改善了 5.64％。
May, 2024
通过引入辅助优化变量，利用扩散过程重新定义嘈杂的反问题为受约束的双变量优化任务，该算法称为 ProjDiff，有效地利用了预训练扩散模型的先验信息和降噪能力。在各种线性和非线性反问题中，ProjDiff 在图像恢复任务、信源分离和部分生成任务方面展现出卓越的性能，凸显其在实际应用中的潜力。
Jun, 2024
通过 EM Distillation 方法，将扩散模型精简至一步生成器模型，以最小损失的感知质量学习最大似然，提高了在 ImageNet-64 和 ImageNet-128 上的 FID 评分，并优于先前在文本到图像扩散模型提取方面的工作。
May, 2024
该论文探讨了在先验概率和一个基于 $x$ 和 $y$ 的不等式约束条件下利用高维数据推断潜在结果。通过使用一个独立训练的去噪扩散生成模型和不同的不等式约束，该方法能应用于各种不同领域的任务，例如条件生成、图像分割以及求解组合优化问题等。
Jun, 2022
通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。
Mar, 2024
本文提出使用去噪扩散模型来学习在线决策问题的先验知识，并结合 Thompson 抽样和先前学习到的先验知识来处理新任务，实现了跨同一类 Bandit 任务表现良好的元学习策略。使用后验抽样算法来平衡先验和与来自环境的噪音观测。通过广泛的实验验证了所提出方法的潜力。
Jan, 2023