基于退化提示扩散的无数据蒸馏用于多天气图像恢复
基于概率模型的图像修复算法,通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能,并且在实际测试图像方面具有很强的泛化性能。
Jul, 2022
本研究旨在提高扩散模型在逼真图像修复中的适用性,特别是在网络架构、噪声水平、降噪步骤、训练图像大小和优化器/调度器等多个方面进行改进。我们展示了调节这些超参数可以在失真和感知得分上实现更好的性能,并提出了基于U-Net的潜在扩散模型。与以前的潜在扩散模型相比,我们提出的U-Net压缩策略更稳定,而且不依赖敌对性优化就能恢复高度准确的图像。我们的模型Refusion能够处理大尺寸图像,包括真实世界的阴影去除、HR不均匀去雾、立体超分辨率和景深效果转换,并在NTIRE 2023图像阴影去除挑战赛中获得最佳感知性能和第二名。
Apr, 2023
本文提出了一种新的神经网络架构DparNet,通过利用降低图像的先验知识来抑制其强度空间可变的复杂图像退化,该方法在图像降噪和抑制大气湍流效应等方面都取得了显著的成效,模型参数数量和计算复杂度均较小。
May, 2023
本文提出一种名为BOOT的方法,该方法使用一种高效的无需数据蒸馏算法,可以有效地学习预测训练模型的输出。我们的方法可以轻而易举地适应难以访问的大规模文本到图像扩散模型,证明了其在处理高度复杂分布上的有效性,为更高效的生成建模提供了启示。
Jun, 2023
图像修复是一个具有挑战性的任务,在近期,扩散模型在图像的生成上取得了显著的进展,但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究,本文首次对基于扩散模型的图像修复方法进行全面的综述与评估,并提出了未来研究的五个潜在和具有挑战性的方向。
Aug, 2023
本研究提出了一种基于数据要素导向的方法,通过利用基于提示的学习来实现单模型高效处理多种图像退化任务,结合卷积神经网络和Transformer模块的属性对高质量图像修复进行建模,并引入特征融合机制来改善聚合特征,所得到的CAPTNet架构能够处理不同类型的退化情况,在大量实验证明与专门的算法相比具有竞争性的表现。
Sep, 2023
本研究中,我们提出了一种全能图像恢复网络,能够处理多种退化问题,通过学习神经退化表示(NDR)来解决多种退化数据的挑战,进一步结合退化查询模块和退化注入模块,实现了多种退化的全能恢复能力,同时采用双向优化策略来驱动NDR学习退化表示,我们的实验证明了该方法的有效性和泛化能力。
Oct, 2023
在恶劣天气条件下,图像恢复是一项具有挑战性的任务,而盲解析图像分解技术是为了解决这个问题而提出的一种方法,它依赖于每个部分的精确估计。为了解决这些问题,我们利用物理约束来指导整个恢复过程,构建基于大气散射模型的混合退化模型,并将退化图像和退化遮罩合并到我们的联合条件扩散模型中,以提供精确指导。为了实现更好的颜色和细节恢复结果,我们进一步整合了一个细化网络来重建恢复图像,其中采用了不确定性估计块来增强特征。在多种气象和特定天气数据集上进行的大量实验证明了我们方法在竞争方法中的优越性。
Apr, 2024
通过扩散模型基于预训练的视觉语言模型提取视觉提示,我们提出了Diff-Restorer通用图像修复方法,以去除降级同时生成高感知质量修复结果,并通过全面的定性和定量分析展示了我们的方法的效果和优越性。
Jul, 2024
本研究针对恶劣天气恢复中的动态处理与背景重建问题,提出了一种新方法T3-DiffWeather。该方法利用提示池和深度任意特征约束,能够自适应组合提示,显著提高了模型在各种合成和真实数据集上的计算效率和性能。实验结果表明,该方法在现有的扩散技术中表现最为出色。
Sep, 2024