Sep, 2022

使用知识蒸馏的对抗生成超分辨率在边缘设备上的应用

PDF
TL;DR本文提出了一个高效的生成对抗网络模型用于在需要可靠的视觉流来监视任务、处理远程操作或研究相关视觉细节的环境中支持机器人任务的单图像超分辨率，并通过定制的网络架构和模型量化使其在 CPU 和 Edge TPU 设备上达到高达 200 fps 的快速推断，同时进一步通过将其知识压缩至网络的较小版本来优化我们的模型，并与标准训练方法进行比较，得出显著的性能改善结果。我们的实验结果表明，相比于更重型的现有模型，我们的快速轻量模型在保持极高图像质量的同时，具有显著的优势，在带宽降级的图像传输方面的应用潜力也值得进一步挖掘。
发现论文，激发创造
  • 使用生成对抗网络的照片级单图像超分辨率

    本文提出了 SRGAN 框架，通过引入对抗性损失和感知损失函数，成功应用 GAN 进行图像超分辨率，能够生成 4 倍放大因子下的自然真实图像。大量实验和 MOS 测试证明 SRGAN 在视觉效果上具有显著的优势。

    Sep, 2016

  • 面向卡通人脸的增量超分辨率技术研究：基于知识蒸馏

    提出了一种使用 GAN 和知识蒸馏的增量超分辨率方法（ISR-KD）来实现面部卡通化，旨在开发用于面部超分辨率的新型统一框架，能够处理不同的设置，包括不同类型的面部，如卡通面部和不同级别的细节。实验证明，知识蒸馏能够有效地增加模型对卡通面部超分辨率的能力，并保留 GAN 中面部幻觉任务的学到的知识。

    Jan, 2024

  • 深度生成对抗残差卷积网络用于真实世界超分辨率

    通过提出一种深度残差卷积生成对抗网络（SRResCGAN）来解决真实世界中图像修复过程缺失的问题，该网络通过对 HR 领域的像素级监督来对模型进行敌对训练，并利用残差学习和凸优化技术来最小化能量函数，我们的实验表明，该方法易于部署到其他下采样算子和移动 / 嵌入式设备上，并且能够更好地适应真实世界中的图像噪声问题。

    May, 2020

  • 小型感知超分辨率之旅

    本文提出了一种神经架构搜索方法，将神经架构搜索和生成对抗网络与最近的感知超分辨率相结合，将小型感知超分辨率模型的效率推向极致，适用于末端设备。该方法搜索生成器和鉴别器的结构，优于现有方法，可以让感知 SR 模型比 SRGAN 快 26.4 倍，同时保持较高的质量。

    Jul, 2020

  • 基于渐进感知的单幅图像超分辨率网络

    本文提出了一种分阶段新颖的感知图像超分辨率方法，第一阶段集中于最小化点之间误差，第二阶段利用前一阶段提取的特征来追求更好的结构保留，并采用第二阶段提取的细节结构特征来产生更真实的结果，通过多尺度特征融合，提出的方法优于现有方法。

    Jul, 2019

  • SRPGAN：单图像超分辨率视觉生成对抗网络

    本文介绍了一种使用 Charbonnier Loss 函数构建内容损失，并将其与提出的感知损失和对抗性损失相结合的超分辨率感知生成对抗网络 (SRPGAN) 框架，能够更好地重建具有高频细节和清晰边缘的高分辨率图像。与其他现有模型相比，该模型在大多数基准测试中都能取得更高的结构相似性指数 (SSIM) 分数。

    Dec, 2017

  • 使用 GAN 进行视频增强的超分辨率研究调查

    这篇论文总结了使用深度学习算法，如生成对抗网络，进行超分辨率图像和视频研究的最新进展，提供了改进图像和视频质量的方法，如递归学习、新颖的损失函数、帧率增强和注意力模型集成。这些进展对于增加低分辨率视频的视觉清晰度和质量具有巨大潜力，可应用于监控技术、医学成像等多个领域。此外，这个集合还深入研究了生成对抗网络的更广泛领域，探讨了它们的原理、训练方法以及在各个领域的应用，同时强调了人工智能领域中不断发展和变化的挑战与机遇。

    Dec, 2023

  • 信息蒸馏网络：快速、精准的单图像超分辨率

    本论文提出了一种深度但紧凑的卷积神经网络，通过特征提取、信息提炼和重构网络三部分组成，使用带有增强单元和压缩单元的信息提炼块提取局部长短路径特征，具有快速执行的优点，实验结果表明其在超分辨率方面优于现有方法，特别是时间表现。

    Mar, 2018

  • SRTransGAN：基于 Transformer 的生成对抗网络的图像超分辨率

    提出了一种基于 Transformer 的生成对抗网络（SRTransGAN）来进行图像超分辨率，通过使用编码器 - 解码器网络生成 2x 图像和 4x 图像，使用视觉 Transformer 设计判别器网络来对合成和真实高分辨率图像进行二分类，通过分析显著性地图来了解所提方法的学习能力，SRTransGAN 方法在 PSNR 和 SSIM 评分的平均值上优于现有方法 4.38%。

    Dec, 2023

  • 使用密集连接残差网络进行单幅图像超分辨率的双重重建

    本文提出在改进的生成对抗网络超分辨率模型中，添加更多的快捷连接以便于更快地反向传播梯度信息，进而通过像素距离、对抗性损失和感知损失等多重因素训练提高细节和质量，最终得到更高分辨率的图像。并验证了在实际图像超分辨率挑战中具有卓越性能，提高了图像重建的质量。

    Nov, 2019