Jan, 2024

统一宽度自适应动态网络用于一体化图像修复

PDF
TL;DR对比传统图像恢复方法，全能图像恢复技术引起了人们的关注，因其能恢复受不同类型和程度损害的图像。然而，现代全能图像恢复方法忽略了任务间的困难，并使用相同的网络重建受不同退化影响的图像，这导致了任务相关性的低估和计算资源分配的次优化。为了阐明任务间复杂性，我们提出了一个新概念，即将复杂图像退化表示为基本退化。在此基础上，我们提出了一种创新方法 —— 统一宽度自适应动态网络（U-WADN），由两个关键组件组成：宽度自适应主干网络（WAB）和宽度选择器（WS）。WAB 包括多个嵌套的子网络，具有不同的宽度，有助于选择最适合每个任务的计算，从而在运行时在准确性和计算效率之间取得平衡。对于不同的输入，WS 自动选择最适合的子网络宽度，考虑到任务特定和样本特定的复杂性。在各种图像恢复任务的大量实验证明，提出的 U-WADN 实现了更好的性能，同时减少了高达 32.3％的 FLOPs，并提供约 15.7％的实时加速。代码已在 https://github.com/xuyimin0926/U-WADN 公开。
image restorationall-in-onedegradationcomputational resourcesu-wadn
发现论文，激发创造
  • 动态预训练：高效可扩展的一体化图像恢复

    通过 DyNet 动态网络设计的全能图像恢复任务模型，结合权重共享机制和动态预训练策略，在图像去噪、去雨和去雾等多种任务上取得了最新的成果，同时比基准模型减少 31.34% 的 GFlops 与 56.75% 的参数。

    Apr, 2024

  • 跨一致深度展开网络用于自适应全能视频修复

    提出了一种用于全能视频修复的交叉一致深度展开网络（CDUN）方法，通过使用单一模型来移除各种不同的退化，包括一个新颖的迭代优化框架和适应性处理各种退化的序列自适应退化估计器（SADE），以及利用窗口化的帧间融合策略来扩大时域接受野和利用远距离帧的信息，该方法在全能视频修复方面取得了最先进的性能。

    Sep, 2023

  • 基于宽深学习的空间和强度自适应图像恢复

    本文提出了一种新的神经网络架构 DparNet，通过利用降低图像的先验知识来抑制其强度空间可变的复杂图像退化，该方法在图像降噪和抑制大气湍流效应等方面都取得了显著的成效，模型参数数量和计算复杂度均较小。

    May, 2023

  • 一种全方位的多降级图像恢复网络基于层次化降级表示

    我们提出了一种全能多退化图像恢复网络 (AMIRNet)，通过聚类逐步构建树状结构，学习未知退化图像的退化表示，并利用特征转换模块 (FTB) 弥补领域差异，从而实现从各种未知失真中恢复高质量图像的目标。

    Aug, 2023

  • 基于小波的双分支网络的图像去莫尔纹去除

    本文设计了基于小波变换和空间注意力机制的双分支网络（WDNet），用于图像去马赛克处理，并在 Rain 100 和 Raindrop 800 数据集上优于现有的图像去雨滴方法。

    Jul, 2020

  • 基于波长属性的深度神经网络用于水下图像修复

    本文提出了一种用于水下图像恢复的深度神经网络模型 Deep WaveNet，采用多重上下文特征和注意力跳过机制，有效地解决了水下环境中波长不对称性引起的色彩失真问题。文中实验证明，该模型在多个高级视觉任务方面表现优于已有模型，并且开源代码。

    Jun, 2021

  • 全能图像恢复的神经退化表示学习

    本研究中，我们提出了一种全能图像恢复网络，能够处理多种退化问题，通过学习神经退化表示 (NDR) 来解决多种退化数据的挑战，进一步结合退化查询模块和退化注入模块，实现了多种退化的全能恢复能力，同时采用双向优化策略来驱动 NDR 学习退化表示，我们的实验证明了该方法的有效性和泛化能力。

    Oct, 2023

  • 内容感知的深度自适应图像恢复

    通过利用现有模型优先建立模块化管道来系统地恢复图像，而不是从头开始创建新的修复模型。使用物体特定级别的恢复，每个对象使用其对应的类别标签信息进行再生。方法的独特之处在于提供完全的用户控制，用户可以选择特定的恢复步骤模型，自定义步骤序列以满足需求，并使用深度感知调整结果的再生图像。该研究提供了两个不同的图像再生实施途径，以比较它们各自的优势和局限性。这个多才多艺系统最引人注目的方面是其适应性，允许用户针对特定的物体类别，包括医学图像，提供在这些对象类别上训练的模型。

    Jan, 2024

  • 任意宽度网络

    本文提出了一种可调节宽度的 CNN 架构和相关训练程序 ——Any-Width Network（AWN）—— 它允许在推理过程中对速度和准确性进行精细控制，其关键创新是使用下三角权重矩阵，该矩阵可以明确地解决宽度变化批量统计问题，并且自然适合于多宽度操作，同时我们也证明了这种设计有助于基于随机宽度抽样的高效训练方案，我们通过实验证明，我们提出的 AWN 在比较现有方法时具有优势，同时在推理过程中提供了最细粒度的控制。

    Dec, 2020

  • 用于强健图像标注的深度和广度多尺度递归网络

    本文提出了新型神经网络 DAWMR，通过其宽结构，大视野，递归迭代和可并行架构等性质，实现了对图像标记问题的精确分类，并且在边界预测这一具体问题上，本文还介绍了一种改进的例子加权算法， DAQMR 网络在 3D 电子显微镜数据的神经回路重建方面也表现出良好的性能。

    Oct, 2013