变形不变神经网络及其在扭曲图像恢复和分析中的应用
本文提出一种基于离散余弦变换的 DCT-Net 模块,可用于改善卷积神经网络 (CNN) 在面对包括高噪音、模糊等多种苟且不净的图像质量下的分类表现。通过丢弃高频信息,DCT-Net 能够在训练和测试过程中自适应地适应各种扭曲情况,仅需盲目一次训练即可用于未知的图像失真情况,结果表明 DCT-Net 在 CIFAR-10/100 和 ImageNet 测试数据集上具有更好的分类准确性。
Nov, 2018
本文提出的 Distortion Invariant representation Learning(DIL)的训练策略,从因果关系的角度出发,将每种图像失真类型和程度视为一种特定的混淆因素,并通过消除每个失真的有害混淆效应来学习失真不变表示,从而提高 DNN 对未知失真的泛化能力。
Mar, 2023
该论文提出了一种基于 Deformation Inpainting Network(DINet)的高分辨率人脸视觉配音方法,通过在参考图像的特征映射上执行空间变形来更好地保存高频纹理细节,并取得了比其他最先进的方法更好的效果。
Mar, 2023
本文提出了一种新型的级联框架 —— 深度变形网络(DDN),用于定位非刚性物体中的标志物。DDN 能够在卷积神经网络(CNN)框架中融合几何约束,同时具有训练的简易和效率以及应用的广泛性。
May, 2016
我们提出了第一个通用框架,用于自动纠正单个输入图像中不同类型的几何畸变。我们的方法采用卷积神经网络(CNN),通过使用大型合成畸变数据集进行训练,以预测扭曲图像和校正图像之间的位移场。模型拟合方法使用 CNN 输出估计畸变参数,实现更准确的预测,并使用高效,高质量的重采样方法生成最终的校正图像。实验结果表明,我们的算法优于传统的校正方法,可实现有趣的应用,如畸变转移,畸变夸张和共同发生的畸变校正。
Sep, 2019
介绍了一种新的结构,称为条件可逆神经网络(cINN),并将其用于解决自然图像的多样化图像到图像的转化任务。cINN 结合了纯生成 INN 模型和一个无限制的前馈网络,有效地将调节图像预处理为最大信息特征。通过最大似然优化,稳定地联合优化 cINN 的所有参数。利用双向 cINN 结构,进一步探索和操作潜在空间的新兴属性,例如以直观的方式更改图像风格。
May, 2021
我们提出了一种紧凑的编码器 - 解码器 Transformer 模型 DeblurDiNAT,旨在高效地从现实世界的模糊图像中恢复清晰图像。通过采用交替的空洞因子结构和通道调制的自注意力块 (CMSA),以及快速特征传播的径路和乘法前馈网络 (DMFN),并使用轻量级的门控特征融合 (LGFF) 模块,我们在多个图像去模糊数据集上取得了最先进的性能。相比最近的竞争者,我们的方法在参数数量减少 3%-68%、可节省时间的同时,产生了更接近真实图像的去模糊结果。
Mar, 2024
本文提出了一种卷积神经网络的深度学习应用,利用无监督优化相似度指标完成非迭代式的图像配准,具备传统配准方法一样高的精度,且实现时间大幅度缩短。
Apr, 2017
通过使用多阶段 CNN 特征注入的 Transformer 网络,我们提出了一种名为 CINFormer 的 UNet 结构,以实现表面缺陷分割。CINFormer 在编码器中采用了简单而有效的特征整合机制,将输入图像的多层级 CNN 特征注入到 Transformer 网络的不同阶段,以保持 CNN 捕捉详细特征的优点和 Transformer 压制背景噪音的优点,从而实现准确的缺陷检测。此外,CINFormer 通过引入 Top-K 自注意力模块,可以聚焦于与缺陷相关的更重要信息的标记,以进一步减少冗余背景的影响。通过在 DAGM 2007、磁砖和 NEU 等表面缺陷数据集上进行的大量实验证明,CINFormer 在缺陷检测方面达到了最先进的性能。
Sep, 2023
该论文提出了一种基于 PGD 算法的 Deep Generalized Unfolding Network(DGUNet)进行图像修复,通过在梯度下降步骤中集成梯度估计策略和设计跨不同 PGD 迭代中 Proximal mapping 的中间信息通路,实现对复杂和现实世界图像的修复,同时保持了透明度和可解释性。实验结果表明,该方法在各种图像修复任务中的性能、可解释性和通用性均优于现有方法。
Apr, 2022