May, 2024

基于扩散模型和定制 CLIP 分类器的水下图像增强

PDF
TL;DR我们提出了一种新颖的水下图像增强方法，通过利用多导向扩散模型进行迭代增强。我们使用图像合成策略并结合对比语言 - 图像预训练（CLIP）来训练一个控制扩散模型生成过程的分类器，在高频区域提出一种快速微调策略，结果表明我们的方法具有更自然的外观。
underwater image enhancementmulti-guided diffusion modelimage synthesisprior knowledgeclip-uie
发现论文，激发创造
  • UIEDP：基于扩散先验的水下图像增强

    水下图像增强中，UIEDP 是一个新的框架，将 UIE 视为在退化水下输入条件下清晰图像后验分布采样过程，通过结合先前训练的扩散模型和任何现有 UIE 算法，以改进合成图像的质量，从而生成更高质量且更自然的图像。

    Dec, 2023

  • CPDM：用于水下图片增强的内容保留扩散模型

    本文提出了一种内容保留扩散模型（CPDM），通过将扩散模型作为基础模型进行稳定训练，并设计内容保留框架来处理成像条件的变化，从而有效地解决水下图像增强任务中的挑战。实验证明了 CPDM 的有效性，在主观和客观指标上均超过了现有技术方法。

    Jan, 2024

  • 基于 Transformer 的扩散模型的非均匀采样用于跳跃策略的水下图像增强

    通过在水下场景中使用扩散模型进行图像增强的方法，本文提出了一种方法。我们的方法利用水下图像和高斯噪声作为输入，采用条件降噪扩散概率模型生成相应的增强图像。此外，为了提高扩散模型中的反向过程的效率，我们采用了两种不同的方式。我们首先提出了一种基于轻量级 Transformer 的降噪网络，可以有效提升每次迭代的网络正向时间。另外，我们引入了一种跳跃抽样策略来减少迭代次数。此外，在跳跃抽样策略的基础上，我们提出了两种不同的非均匀抽样方法，即分段抽样和使用进化算法进行搜索。它们都是有效的，并且通过相同的步骤针对以前的均匀抽样进一步提高性能。最后，我们对最近最先进的水下增强数据集和提出的方法进行了相对评估。实验结果证明，我们的方法既能取得竞争性的性能，又具备高效性。我们的代码可在 https://github.com/piggy2009/DM_underwater 中获得。

    Sep, 2023

  • DiffusionCLIP: 文本引导下的扩散模型用于稳健的图像处理

    该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

    Oct, 2021

  • 基于 Transformer 的面向物体识别的水下图像增强的物理感知扩散模型学习

    我们介绍了一种名为 PA-Diff 的新型水下图像增强 (UIE) 框架，设计用于利用物理学知识来指导扩散过程，并证明了该方法在 UIE 任务上取得了最佳性能。

    Mar, 2024

  • DGNet: 动态梯度引导网络与噪声抑制方法用于水下图像增强

    利用预测图像动态更新伪标签，将动态梯度添加到优化网络的梯度空间，通过特征恢复与重建模块和频率域平滑模块降低各种类型噪声对网络性能的影响，实现了在水下图像增强方面的显著优势。

    Dec, 2023

  • 基于 Robust CLIP 的检测器用于揭示扩散模型生成的图像

    通过使用 CLIP 模型提取的图像和文本特征以及多层感知器（MLP）分类器，本研究引入了一个强大的检测框架，并提出了一种能够改善检测器鲁棒性的新型损失函数，以及在模型训练中平整化损失函数空间从而改善检测器的泛化能力。通过大量实验证明了我们方法的有效性，超越了传统检测技术，在 DM 生成的图像检测领域有望成为新的最先进方法。

    Apr, 2024

  • 使用领域对抗学习的全能水下图像增强

    本文介绍了一种用于增强不同水域下水下图像的模型，采用深度学习技术，通过对图像特征进行无关领域的学习，提高了图像增强的性能，并在物体检测任务中表现出了显著的改善。

    May, 2019

  • DiffCLIP: 利用稳定扩散进行语言增强的 3D 分类

    本文提出了一种新的预训练框架 DiffCLIP，其结合稳定扩散和 ControlNet，以减小视觉分支中的域间差异，并引入了一种样式提示生成模块，用于少样本任务，在 ModelNet10、ModelNet40 和 ScanObjectNN 数据集上进行广泛实验，表明 DiffCLIP 具有强大的 3D 理解能力。使用稳定扩散和样式提示生成，DiffCLIP 在 ScanObjectNN 的 OBJ_BG 数据集上实现了 43.2％的零样本分类精度，这是最先进的技术水平，并且在 ModelNet10 上实现了 80.6％的零样本分类精度，这与最先进的技术水平相当。

    May, 2023

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021