ICCVAug, 2023

MOFA：适用于移动设备图像修复的模型简化路线图

PDF
TL;DR通过在不敏感的层上添加更多参数，然后应用部分深度卷积以及降采样 / 升采样层来加速模型速度，本文提出了一种能够进一步加快图像恢复模型部署效率的方法，同时提高了图像恢复数据集中的峰值信噪比（PSNR）和结构相似性指数（SSIM）。
image restorationdeep learning techniquesefficiencymodel capacitypartial convolutions
发现论文，激发创造
  • DeFMO: 快速移动物体的去模糊和形状恢复

    该研究提出了一种利用生成模型和自监督损失函数训练的 DeFMO 方法，在仅有单张图像和背景估计的情况下，以高速相机的子帧形式输出物体在各个位置的外观和运动状态，实现了 temporal super-resolution，效果优于现有技术并适用于真实数据。

    Dec, 2020

  • 一种山形单级网络用于精确图像恢复

    通过创新性的 U-Net 架构设计，提出一个称为 M3SNet 的图像恢复系统，通过特征融合中间件和多头注意力中间块，达到保留空间细节，集成上下文信息，并使用不到一半的计算成本，超过了先前的最优模型。

    May, 2023

  • Once-for-All: 训练一个网络并为其专门优化以实现高效部署

    我们提出了一种基于一次训练（OFA）网络的方法，通过将训练和搜索分离，支持多种网络结构并可以快速选择以减少计算成本。使用渐进式缩减算法进行高效训练，在各种边缘设备上具有优异的表现和更少的能源成本，赢得了 Low Power Computer Vision Challenge 的胜利。

    Aug, 2019

  • 强调有效图像恢复的关键特征

    本研究提出了一种高效有效的框架，用于适应不同区域间存在的不同程度退化的图像恢复，并且在合成和真实数据集上优于目前的最先进方法。

    May, 2024

  • 多阶段渐进式图像修复

    该研究提出了一种名为 MPRNet 的多阶段架构，使用编码器 - 解码器架构学习上下文信息和高分辨率分支，结合像素自适应设计重新加权本地特征，从而实现复原图像的同时维持空间细节和上下文信息的最佳平衡，该架构在包括图像去雨、去模糊和降噪等多个任务上均表现出较强的性能表现。

    Feb, 2021

  • MOFA-Video: 冻结图像到视频扩散模型中的生成运动场适应的可控图像动画

    MOFA-Video 通过使用各种额外的可控信号（例如人类标志物参考、手动轨迹以及另一个提供的视频）或其组合，从给定的图像生成视频。MOFA-Video 不同于先前只能在特定运动范围内工作或显示弱控制能力的方法，为了实现我们的目标，我们设计了几个领域感知的运动适配器（即 MOFA-Adapters）来控制视频生成流程中生成的运动。对于 MOFA-Adapters，我们首先考虑视频的时间运动一致性，并从给定的稀疏控制条件生成稠密运动流，然后将给定图像的多尺度特征包装为稳定视频扩散生成的引导特征。我们分别对手动轨迹和人类标志物进行了两个运动适配器的训练，因为它们都包含有关控制的稀疏信息。在训练之后，不同域中的 MOFA-Adapters 也可以一起工作以实现更可控的视频生成。

    May, 2024

  • 面向深度图像恢复的按需学习

    本文提出一种基于反馈机制的面向难度级别泛化的深度卷积神经网络图像修复模型自动生成的算法，旨在避免 “固定” 模型对于固定难度级别的训练。实验表明，在四个图像修复任务上，本算法均优于传统训练和课程学习替代方案。

    Dec, 2016

  • 面向移动设备的实时自动人像抠图

    通过使用基于多分支扩张卷积的线性瓶颈块的模型 MMNet，我们解决了移动设备上自动人像抠图的问题，实现了实时推断，而且性能下降很小，比现有技术更快。

    Apr, 2019

  • 轻量级人脸识别：改进的 MobileFaceNet 模型

    本研究详细探讨和比较了轻量级人脸识别模型，特别关注 MobileFaceNet 及其修改版 MMobileFaceNet。我们研究了数据集选择、模型架构和优化算法对人脸识别模型性能的影响。通过在 EFaR-2023 竞赛中的参与，我们的模型在参数受限的类别中表现出色。通过使用 Webface42M 数据集的子集和集成锐度感知最小化（SAM）优化，我们在各种基准测试中实现了显着的精度提升，包括跨姿势、跨年龄和跨种族的性能。结果凸显了我们方法在打造既计算高效又在不同条件下保持高精度的模型方面的有效性。

    Nov, 2023

  • CompOFA: 多用一网络复合架构加速跨平台部署

    该研究提出了一个名为 CompOFA 的设计空间，基于复合关系的模型维度来约束最优的模型配置，实现了在保证 Pareto 优化的情况下，相较于现有技术，减少了 2 倍的训练时间和 216 倍的模型搜索 / 提取时间。

    Apr, 2021