May, 2024

基于语义指导的大规模因子化遥感图像超分辨率生成扩散先验

PDF
TL;DR通过利用预训练的生成模型作为先验，结合结构和语义线索，以及提取感知一致的传感器特性并模拟其分布，从而提高遥感影像的超分辨率。实验证明了该方法的卓越性能和广泛适用性。
large scale factor super-resolutionremote sensing imagessemantic guided diffusion modelvector mapssensor-specific imaging characteristics
发现论文，激发创造
  • RSDiff：基于扩散模型的遥感图像生成

    通过渐进式扩散模型，纯基于文本提示逐渐生成高分辨率的卫星图像，并在远程感知领域取得了优越的超分辨率结果与真实地理特征的生成。

    Sep, 2023

  • 放大放大：进一步发展遥感超分辨率

    该论文提出了一种针对超分辨率的新度量标准 CLIPScore，并使用该标准在多个数据集上评估了四种标准方法，发现生成对抗网络在语义准确性上优于传统的 L2 损失模型和现代扩散模型，同时将 CLIPScore 作为辅助损失可加快 GANs 的训练速度 18 倍，并改进输出结果，从而在世界各地的多样地理环境中得到有效的模型。

    Nov, 2023

  • 自适应语义增强去噪扩散概率模型在遥感图像超分辨率中的应用

    提出了一种自适应语义增强的 DDPM 模型，通过引入 Transformer 来提高 DDPM 的保留细节能力，解决了噪声生成过程中的高频细节重建问题，并通过残差特征融合策略在多个层次上实现了两个解码器之间的信息交换，进而在超分辨率和下游应用中取得了出色的性能。

    Mar, 2024

  • 从预训练扩散生成模型中分析任意比例的超分辨率能力

    本文提出了一种名为 Diff-SR 的基于预训练 DGMs 的任意尺度超分辨率模型，该模型通过向低分辨率图像注入适量的噪声并计算感知可恢复场（PRF）指标来实现最佳效果，并在实验中证明了它在不同的 ASSR 环境下的卓越性能。

    Jun, 2023

  • SeeSR: 面向语义感知的现实世界图像超分辨率

    通过训练一个 degradation-aware 提取器，我们提出了一种针对生成式真实世界图像超分辨率的语义感知方法，以更好地保留语义保真度，同时将低分辨率图像整合到初始采样噪声中以减少过多的随机细节生成，实验结果表明我们的方法可以重现更现实的图像细节并更好地保持语义。

    Nov, 2023

  • XPSR：基于扩散的跨模态图像超分辨率的先验

    基于扩散的方法在图像超分辨率 (ISR) 中拥有强大的生成先验，在最近受到越来越多的关注。然而，由于低分辨率 (LR) 图像经常遭受严重降质，ISR 模型难以感知语义和降质信息，导致恢复图像出现错误的内容或不切实际的伪影。为了解决这些问题，我们提出了一个基于跨模态先验的超分辨率 (XPSR) 框架。在 XPSR 中，我们利用了前沿的多模态大语言模型 (MLLMs) 来获取扩散模型的精确和全面的语义条件。为了更好地融合跨模态先验，我们引入了一个语义融合注意机制。为了提取保留语义信息而不是不需要的降质，我们在 LR 图像与其高分辨率 (HR) 对应物之间添加了无降质约束。定量和定性结果表明，XPSR 能够在合成和真实世界数据集上生成高保真度和高真实性的图像。代码将在 https://github.com/qyp2000/XPSR 上发布。

    Mar, 2024

  • 遥感图像文本检索的尺度 - 语义联合解耦网络

    本文针对遥感图像 - 文本检索的问题，提出一种新颖的 Scale-Semantic Joint Decoupling Network（SSJDN）方法，其中利用 Bidirectional Scale Decoupling（BSD）和 Label-supervised Semantic Decoupling（LSD）模块分别来处理尺度和语义解耦。同时，采用语义引导的三元损失（STL）来提高匹配概率和缩短检索时间。实验结果表明，所提出的方法在四个基准遥感数据集上优于当前最先进的方法。

    Dec, 2022

  • Real-GDSR：基于边增强残差网络的实际世界导向 DSM 超分辨率

    通过使用局部细化网络和基于扩散的技术，我们提出了一种名为 REAL-GDSR 的新方法来解决实际世界 DSM（数字表面模型）超分辨率的复杂性问题。我们的方法在定性和定量评估中表现出优于现有方法的效果。

    Apr, 2024

  • 重新思考超分辨率，作为基于文本的细节生成技术

    本文提出了一种基于语义图像细节增强的图像超分辨率方法，其中利用文本和图像模态的多模态融合学习来提高图像的语义准确性和视觉质量。该方法通过粗到细的过程生成文本描述匹配的高分辨率图像细节，实验证明该方法具有显著的效果。

    Jul, 2022

  • 面向现实世界的超分辨率真实数据生成

    本文介绍了一种新颖的逼真分离数据生成器（RealDGen），该生成器是为了解决现有图像超分辨率技术在复杂实际环境中泛化效果不佳的挑战所设计的。通过精心设计内容和降解提取策略，并将其整合到一种新颖的内容降解分离扩散模型中，从不成对的实际低分辨率和高分辨率图像中创建逼真的低分辨率图像。大量实验证明了 RealDGen 在生成大规模、高质量的配对数据方面的出色表现，模拟了真实世界的降解情况，并显著提升了各种真实世界基准测试中流行的超分辨率模型的性能。

    Jun, 2024