AAAIMar, 2023

DINet：高分辨率视频中逼真的面部视觉配音的变形修复网络

PDF
TL;DR该论文提出了一种基于 Deformation Inpainting Network（DINet）的高分辨率人脸视觉配音方法，通过在参考图像的特征映射上执行空间变形来更好地保存高频纹理细节，并取得了比其他最先进的方法更好的效果。
发现论文，激发创造
  • DiffDub：使用扩充自动编码器的修复渲染器进行人物通用视觉配音

    通过 Diffusion-based dubbing 方法，我们提出了 DiffDub 自动编码器，可以实现高质量的视觉配音，包括无痕填充和人物特定纹理等创新性策略，通过全面的实验证明，我们的方法在人员通用和多语言场景中优于现有方法，并提供无缝连贯、可理解的视频。

    Nov, 2023

  • DeepGIN: 极端图像修复的深层生成填充网络

    本文提出了一种名为 DeepGIN 的深度生成修复网络，采用空间金字塔扩张 ResNet、多尺度自注意力机制和反向投影技术等方法实现多种类型图像修复，且在 FFHQ 和 Oxford Buildings 数据集中比其他具有代表性的方法表现更好。

    Aug, 2020

  • 深度视频修复的复制粘贴网络

    利用深度学习构建了 Copy-and-Paste Networks 模型，以实现视频修复和增强，能够从与目标帧对应的参考帧中复制相关内容并粘贴填充，从而提高视频修复效果和车道检测精度。

    Aug, 2019

  • DeMeshNet：用于深度 Mesh 人脸验证的盲目人脸修复

    本文提出了一种面向特征的盲脸修复框架（DeMeshNet），通过在紧凑的特征空间和图像像素空间上同时强制像素级相似度和特征级相似度，用于解决 MeshFace 识别中的低级视觉问题，提高验证性能。

    Nov, 2016

  • 变形不变神经网络及其在扭曲图像恢复和分析中的应用

    提出了一种应对图像在几何失真时的成像任务的框架 —— 变形不变神经网络（DINN），该框架利用拟保角变换器网络（QCTN）将几何失真的图像转换为更接近自然或良好图像分布的改进版本，并在图像分类和图像恢复中取得了较好的性能。

    Oct, 2023

  • 深度视频修复检测

    该研究探讨了视频修补检测技术，提出了一种双流编码器解码器体系结构和注意力模块的 VIDNet 方法，该模型采用误差级别分析数据增强处理 RGB 帧，进一步利用卷积 LSTM 模型对编码得到的多模态特征进行空间和时间关系的探索，并使用四个方向的局部注意力模块来检测像素是否被修补，实验结果表明 VIDNet 方法能够在各方面超越其他同类方法并且具有很好的泛化能力。

    Jan, 2021

  • 深度视频修复

    本文提出了一种基于深度学习的快速视频修复网络，结合图像编解码模型，利用邻帧信息综合填充未知视频区域，并运用循环反馈和时间存储模块确保输出的时空连续性，与之前的视频修复方法相比，其结果更为语义正确和时空平滑，且可用于视频重定向任务并生成优质视觉效果。

    May, 2019

  • 通过联合学习时空结构和空间细节进行视频修复

    本文提出了一种新的基于数据驱动的视频修复方法，采用了深度学习的网络结构，包含了两个子网络，一个是基于 3D 完全卷积的时间结构推断网络，另一个是二维全卷积网络的空间细节修复网络，该方法能够更好的恢复缺失的区域，并且其效果优于以往的视频修复方法。

    Jun, 2018

  • 卷积神经网络实现端到端无监督可变形图像配准

    本文提出了一种卷积神经网络的深度学习应用，利用无监督优化相似度指标完成非迭代式的图像配准，具备传统配准方法一样高的精度，且实现时间大幅度缩短。

    Apr, 2017

  • 学习面向位置的隐含神经网络用于真实世界人脸修复

    提出了一种名为 IN²（Implicit Neural Inpainting Network）的方法，通过显式建模位置信息来处理现实世界场景中的任意形状人脸图像，包括降采样编码器、邻居混合注意力块和隐式神经金字塔解码器，实验证明该方法在现实世界的人脸修复任务中具有较高的效果。

    Jan, 2024