Jul, 2024

MoE-DiffIR：面向任务定制的通用压缩图像恢复的扩散先验

HTML
PDF
TL;DRMoE-DiffIR是一种创新的通用压缩图像恢复（CIR）方法，采用任务定制的扩散先验以解决现有CIR方法中的两个关键挑战：不同图像编解码器的适应性和通用性不足以及在低比特率下纹理生成能力的不足。
发现论文，激发创造
  • 用于即插即用图像恢复的去噪扩散模型

    本文提出了DiffPIR，将传统的plug-and-play方法集成到扩散采样框架中，以期在保留扩散模型生成能力的同时完成图像还原任务，实验结果表明，DiffPIR在三项代表性图像还原任务上取得了最先进的性能。

    May, 2023

  • 图像恢复与增强的扩散模型——综合调查

    图像修复是一个具有挑战性的任务，在近期，扩散模型在图像的生成上取得了显著的进展，但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究，本文首次对基于扩散模型的图像修复方法进行全面的综述与评估，并提出了未来研究的五个潜在和具有挑战性的方向。

    Aug, 2023

  • DiffI2I：高效的图像-图像转换扩散模型

    提出了一种名为DiffI2I的简单、高效和强大的I2I扩散模型，通过引入紧凑的I2I先验提取网络（CPEN），动态I2I转换器（DI2Iformer）和去噪网络来解决了传统DM在某些I2I任务中的效率和生成能力方面的问题。通过在各种I2I任务上进行广泛实验证明，DiffI2I在显著减少计算负担的同时达到了SOTA水平。

    Aug, 2023

  • 面向任务的扩散模型压缩

    通过减小模型大小和减少时间步长，我们探索了基于任务的方式压缩I2I模型，并将其应用于图像编辑和图像修复任务，取得了满意的输出质量以及模型大小和延迟的显著减少。

    Jan, 2024

  • 基于扩散模型的选择性沙漏映射通用图像修复

    提出了一种基于扩散模型的高级选择性沙漏映射策略DiffUIR，通过强约束引导模型获得精确的扩散模型生成方向，将不同分布逐渐映射到一个共享分布中，结合共享分布项和强约束引导，DiffUIR迭代地将共享分布引导到具有高图像质量的特定任务分布，只通过修改映射策略，在五个图像恢复任务中，在通用设置和零样本泛化设置中取得了最先进的性能。

    Mar, 2024

  • DeeDSR：通过降级感知稳定扩散实现实际场景图像超分辨率

    我们引入了一种新的、适应于低分辨率图像的、双阶段的、具有降级意识的框架，通过使用无监督对比学习获取图像降级的表示，并将降级意识模块集成到简化的 ControlNet 中，在各种降级情况下灵活地适应不同的降级，有效恢复更加精确和逼真的细节，表现出在各种基准测试中的最先进性能。

    Mar, 2024

  • 在野外应用具有控制能力的视觉语言模型进行照片逼真图像修复

    采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和JPEG压缩等不同降解方式的问题。

    Apr, 2024

  • 基于潜在特征引导和扩散先验的极端图像压缩研究

    提出了一种新颖的极端图像压缩框架，该框架将压缩VAEs和预训练的文本到图像扩散模型结合在一起，通过潜在特征引导压缩模块进行图像压缩并解码为内容变量，然后利用预训练的扩散模型进一步解码这些内容变量，实验结果表明在极低比特率下，该方法在视觉表现和图像保真度方面优于现有方法。

    Apr, 2024

  • DiffIR2VR-Zero：使用基于传播的图像修复模型实现零对齐视频修复

    本研究介绍了一种使用预训练图像恢复扩散模型进行零样本视频修复的方法，该方法通过分层标记合并策略和混合对应机制实现关键帧和局部帧的修复，并在各种具有挑战性的数据集上证明了其在零样本视频修复中的顶级性能和对各种极端降级（8倍超分辨率和高标准差视频降噪）的一般化能力，可以与任何2D恢复扩散模型配合使用，为视频增强任务提供了一种多功能且强大的工具。

    Jul, 2024

  • Diff-Restorer：基于扩散的通用图像修复中的视觉提示释放

    通过扩散模型基于预训练的视觉语言模型提取视觉提示，我们提出了Diff-Restorer通用图像修复方法，以去除降级同时生成高感知质量修复结果，并通过全面的定性和定量分析展示了我们的方法的效果和优越性。

    Jul, 2024