May, 2021

基于深度学习的智能手机实时视频超分辨率技术， Mobile AI 2021 挑战：报告

HTML
PDF
TL;DR提出了首个Mobile AI挑战，其目标是开发一种端到端基于深度学习的视频超分辨率解决方案，能够在移动GPU上实现实时性能，为此，提供了REDS数据集并使用Snapdragon 865 SoC加速浮点网络的Adreno GPU对所有模型的运行时进行了评估。
发现论文，激发创造
  • CNNdroid：在安卓上利用GPU加速执行已训练的深度卷积神经网络

    介绍了一个基于GPU加速的开源库CNNdroid，可以在Android设备上执行训练好的深度卷积神经网络，并实现了高达60倍的加速和130倍的能量节省。

    Nov, 2015

  • 使用高效子像素卷积神经网络的实时单图像和视频超分辨率

    本文提出一种卷积神经网络，该网络的特征图在低分辨率空间中提取，使用高效的子像素卷积层将最终的低分辨率特征图升级到高分辨率输出，从而有效地将手工设计的双三次滤波器替换为针对每个特征图训练的更复杂的上采样滤波器，同时降低总体超分辨率操作的计算复杂度。该方法的实验结果表明，它在图像和视频方面的表现都比以前的基于CNN的方法好得多，并且速度快了一个数量级。

    Sep, 2016

  • MobiSR：通过异构移动处理器实现高效设备端超分辨率

    本研究提出了一种名为MobiSR的框架，针对超分辨率任务提供了高效的本地处理解决方案，其采用了模型压缩技术和新颖的调度器，在满足图像质量要求的前提下，实现最小处理延迟，与现有实现相比，可以达到2.13倍至4.79倍的加速。

    Aug, 2019

  • 2019年智能手机上深度学习的AI基准测试

    本文评估了高通、海思、三星、联发科和紫光展锐提供的AI推理硬件加速的所有芯片组的性能，并比较了它们的结果。同时，我们还讨论了Android ML流水线的最近变化，并提供了在移动设备上部署深度学习模型的概述。

    Oct, 2019

  • 基于深度学习的视频超分辨率技术综述

    该论文系统研究了基于深度学习的33种视频超分辨率方法，提出了一个分类法并将这些方法分属到六个子类中，并详细描述了所有方法的体系结构和实现细节。通过在一些基准数据集上对代表性VSR方法的性能进行总结和比较，讨论了VSR领域中需要进一步研究的一些挑战。这项工作预计对VSR技术的深度学习方法做出贡献，从而深化我们对该领域的理解，并成为该领域中最早的系统研究之一。

    Jul, 2020

  • 移动设备上快速准确的单张图像深度估计，Mobile AI 2021 挑战赛报告

    本文介绍了Mobile AI挑战赛，通过提供包含RGB深度图像的大规模数据集，旨在开发基于端到端深度学习的高效的实时深度估计解决方案，可运行于移动设备上，并在Raspberry Pi 4上具有较快的运行速度和高精度度量。

    May, 2021

  • 极轻量化鲁棒实时单图像超分辨率算法在移动设备上的应用

    本文提出了一种硬件限制感知、极其轻量级、量化鲁棒、实时超分辨率网络 (XLSR)，它是一种受到 root 模块的启发，旨在解决单图像超分辨率问题的建模方法，并在 Div2K 验证集上取得了超过 VDSR 的成果，在 2021 年移动 AI 实时单图像超分辨率挑战赛中得胜。

    May, 2021

  • 实时高效图像超分辨率的快速最近卷积

    本文提出了一种简单的卷积神经网络与快速最近卷积模块（NCNet）的方法，并使用8位量化在移动设备上进行可靠的实时超分辨率，以实现更高效的超分辨率方法。

    Aug, 2022

  • 移动设备上的实时神经视频恢复与增强

    移动设备上的视频流媒体体验优化是一个挑战，本文提出了一种基于深度学习的实时增强方法，包括视频帧恢复、超分辨率算法和接收端增强感知的视频比特率自适应算法，评估结果显示该方法能够提高视频流媒体系统的实时增强效果，并显著提高24%至82%的视频体验质量。

    Jul, 2023

  • 基于动态算法和编译器协同设计的设备端超分辨率中的数据过拟合

    通过动态深度神经网络辅助的内容感知数据处理管道，我们提出了一种减少模型数量的方法，以提高性能并节省计算资源，并通过编译优化实现更好的PSNR和实时性能，在现成的手机上实现了1.7倍的加速，节省了高达1.61倍的内存消耗。

    Jul, 2024