基于预训练图像扩散模型，提出了用于零样本视频修复和增强的第一种框架，通过在图像扩散模型中使用交叉前一帧注意力层来利用相邻帧之间的时间相关性，进一步提出了时间一致性引导，空间 - 时间噪声共享和早停止采样策略，以实现更好的时间一致性采样，实验结果表明，我们提出的方法在生成具有更好保真度的时间一致视频方面具有优越性。

Jul, 2024

本文提出了一种名为 DDNM 的新颖的零射击框架，用于任意线性图像修复问题，包括但不限于图像超分辨率、上色、修补、压缩感知和去模糊。DDNM 只需要一个预先训练好的 diffusion 模型作为生成先验，而不需要任何额外的训练或网络修改。我们在几个 IR 任务上的实验表明，DDNM 优于其他最先进的零射击 IR 方法。

Dec, 2022

提出了 TI2V-Zero：一种无需优化或微调的零样本方法，通过使用预训练的文本到视频扩散模型，使其能够在给定图像的条件下生成实际视频。该方法使用 “重复滑动” 策略来引导视频生成，并提供了一种保持视觉细节的新合成帧初始化和重新采样技术，从而实现视频的逐帧合成。TI2V-Zero 在领域特定和开放领域数据集上的实验证明了其优越性能，并且能够无缝扩展到其他任务和支持长视频生成。

Apr, 2024

采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

Apr, 2024

本文提出了一种基于预训练扩散模型的无监督高光谱图像恢复框架（HIR-Diff），通过两个低秩分量（即降维图像和系数矩阵）的乘积来还原清晰的高光谱图像。实验证明，该方法在高光谱图像恢复任务中具有卓越的性能和速度优势。

Feb, 2024

我们引入了第一个基于预训练扩散模型的零样本视频语义分割方法，该方法在各种视频语义分割基准测试中明显优于现有的零样本图像语义分割方法，并且在 VSPW 数据集上与有监督的视频语义分割方法不相上下，尽管它没有经过显式的 VSS 训练。

May, 2024

本研究提出了一种基于零样本文本引导的视频到视频转换框架来适应图像模型到视频的应用，在形状、纹理和颜色上强制执行分层的跨帧约束，实现低成本下的全局样式和局部纹理的时空一致性。

Jun, 2023

图像修复是一个具有挑战性的任务，在近期，扩散模型在图像的生成上取得了显著的进展，但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究，本文首次对基于扩散模型的图像修复方法进行全面的综述与评估，并提出了未来研究的五个潜在和具有挑战性的方向。

Aug, 2023

利用预训练的生成扩散模型直接应用于视觉定位的零阶视觉定位任务，以图文扩散模型为基础设计了一个全面的区域评分方法，证明了其在零阶视觉定位上的强大性能。

Sep, 2023

通过建立马尔可夫链以提高高质量图像和低质量图像之间转换的效率，并通过精心设计的噪声方案灵活控制扩散过程中的转移速度和噪声强度，本研究提出了一种新的高效扩散模型用于图像恢复，表现优越或可媲美现有的方法，甚至只需进行四步采样。

Mar, 2024