Jun, 2024

改进生成对抗网络用于视频超分辨率

PDF
TL;DR我们研究了如何改进生成对抗网络进行视频超分辨率任务的方法，通过基于单图像超分辨率 GAN 模型来探讨不同的技术。我们的研究结果表明，包括时间平滑、长短期记忆（LSTM）层和时间损失函数在内的技术组合相比基础视频超分辨率生成对抗网络（GAN）模型在 PSNR 上有 11.97% 的提升，在 SSIM 上有 8% 的提升。这个重大的改进为进一步应用于当前最先进的模型提供了潜在机会。
generative adversarial networksvideo super-resolutionpeak signal-to-noise ratiostructural similarity indextemporal smoothing
发现论文，激发创造
  • 使用 GAN 进行视频增强的超分辨率研究调查

    这篇论文总结了使用深度学习算法，如生成对抗网络，进行超分辨率图像和视频研究的最新进展，提供了改进图像和视频质量的方法，如递归学习、新颖的损失函数、帧率增强和注意力模型集成。这些进展对于增加低分辨率视频的视觉清晰度和质量具有巨大潜力，可应用于监控技术、医学成像等多个领域。此外，这个集合还深入研究了生成对抗网络的更广泛领域，探讨了它们的原理、训练方法以及在各个领域的应用，同时强调了人工智能领域中不断发展和变化的挑战与机遇。

    Dec, 2023

  • 使用生成对抗网络的照片级单图像超分辨率

    本文提出了 SRGAN 框架，通过引入对抗性损失和感知损失函数，成功应用 GAN 进行图像超分辨率，能够生成 4 倍放大因子下的自然真实图像。大量实验和 MOS 测试证明 SRGAN 在视觉效果上具有显著的优势。

    Sep, 2016

  • 基于渐进感知的单幅图像超分辨率网络

    本文提出了一种分阶段新颖的感知图像超分辨率方法，第一阶段集中于最小化点之间误差，第二阶段利用前一阶段提取的特征来追求更好的结构保留，并采用第二阶段提取的细节结构特征来产生更真实的结果，通过多尺度特征融合，提出的方法优于现有方法。

    Jul, 2019

  • SRPGAN：单图像超分辨率视觉生成对抗网络

    本文介绍了一种使用 Charbonnier Loss 函数构建内容损失，并将其与提出的感知损失和对抗性损失相结合的超分辨率感知生成对抗网络 (SRPGAN) 框架，能够更好地重建具有高频细节和清晰边缘的高分辨率图像。与其他现有模型相比，该模型在大多数基准测试中都能取得更高的结构相似性指数 (SSIM) 分数。

    Dec, 2017

  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • SRTransGAN：基于 Transformer 的生成对抗网络的图像超分辨率

    提出了一种基于 Transformer 的生成对抗网络（SRTransGAN）来进行图像超分辨率，通过使用编码器 - 解码器网络生成 2x 图像和 4x 图像，使用视觉 Transformer 设计判别器网络来对合成和真实高分辨率图像进行二分类，通过分析显著性地图来了解所提方法的学习能力，SRTransGAN 方法在 PSNR 和 SSIM 评分的平均值上优于现有方法 4.38%。

    Dec, 2023

  • 使用 GAN 学习图像超分辨率，先学习如何进行图像退化

    本文提出了一种基于生成对抗网络的图像和人脸超分辨率的方法，通过训练高分辨率到低分辨率的 GAN 和低分辨率到高分辨率的 GAN 两个阶段，可以有效地提高实际应用场景下的低分辨率图像的质量，进而在人脸超分辨率领域取得了显著成果。

    Jul, 2018

  • 感知视频超分辨率增强时间连续性

    本文介绍了一种基于循环对抗网络的视频放大方法，利用感知损失函数来实现高质量和时域一致性的视频放大。

    Jul, 2018

  • 针对 3D 脑部 MRI 超分辨率的增强生成对抗网络

    该研究开发了一种新的残差 - 残差稠密块发生器 (RRDG) 来解决基于 GAN 的三维 SISR，并提出了一种改进收敛行为的 Patch GAN 鉴别器来更好地建模脑图像纹理，并提出了一种新颖的解剖学保真度评估方法，这些开发通过一种简单，高效的方法结合起来，以实现影像和质地质量之间的平衡。

    Jul, 2019

  • 小型感知超分辨率之旅

    本文提出了一种神经架构搜索方法，将神经架构搜索和生成对抗网络与最近的感知超分辨率相结合，将小型感知超分辨率模型的效率推向极致，适用于末端设备。该方法搜索生成器和鉴别器的结构，优于现有方法，可以让感知 SR 模型比 SRGAN 快 26.4 倍，同时保持较高的质量。

    Jul, 2020