May, 2023

INCLG: 基於多任務圖像處理網絡的非腭裂唇生成修補算法

PDF
TL;DR我们提出了一种软件，可预测无腭裂唇病患的非腭裂面部图像，从而促进对腭裂唇手术的理解、意识和讨论。我们采用图像修补设计了一个软件框架，不需要腭裂唇图像进行训练，从而减轻了模型泄漏的风险。我们实现了一种新颖的多任务架构，预测非腭裂面部图像和面部关键点，表现更好，由外科医生评估。该软件采用 PyTorch 实现，在消费级彩色图像上可使用，预测速度快，实现了有效的部署。
发现论文，激发创造
  • LaFIn: 基于地标引导的人脸修复生成模型

    本文提出了一种基于深度学习的人脸修复算法，结合人脸关键点预测和图像修复，实现了对人脸姿态、表情和遮挡等多方面的修复。在 CelebA-HQ 和 CelebA 数据集上的实验表明，该算法在视觉效果和定量评估上均超过了现有算法。同时，本文还发现高质量的修复图像和其关键点可以有效提高关键点预测模型的性能，在 300W 和 WFLW 数据集上也得到了验证。

    Nov, 2019

  • 学习面向位置的隐含神经网络用于真实世界人脸修复

    提出了一种名为 IN²（Implicit Neural Inpainting Network）的方法，通过显式建模位置信息来处理现实世界场景中的任意形状人脸图像，包括降采样编码器、邻居混合注意力块和隐式神经金字塔解码器，实验证明该方法在现实世界的人脸修复任务中具有较高的效果。

    Jan, 2024

  • 基于 GAN 的面部视频修复中的现实地标导向

    本研究中我们提出了一种用于表情驱动的视频修复的网络，利用生成对抗网络来处理静态和移动的遮挡物以生成完整的人脸图像，并借助面部标志和无遮挡参考图像来保持用户身份的一致性和情感的细节修复，为静态和动态帧中的面部视频消除遮挡提供了逼真和连贯的结果。

    Feb, 2024

  • 通过跨多样背景修复和伪蒙版细化来推广息肉分割

    利用稳定扩散修复和控制网络的预训练模型，建立了一个强大的生成模型，在不同背景下修复息肉；借助修复区域引导的伪掩模精化网络来改善准确性；采用样本选择策略优化模型，最终模型表现优于基准方法，改进数据增强策略提高息肉分割模型性能，具有与全监督训练相媲美的水平。

    May, 2024

  • 不要深入黑暗：众多图像修复的潜在代码

    大掩蔽众生成图像修复方法，基于离散潜变量的生成框架，通过仅在图像可见位置执行计算的方式来学习潜在先验，利用限制性部分编码器预测每个可见块的令牌标签，双向转换器通过仅查看这些令牌推断缺失的标签，专用合成网络将令牌与部分图像先验相耦合，即使在极端掩蔽设置下也能生成连贯且多样的完整图像，公共基准测试表明所提方法在视觉质量和多样性指标上优于强基线模型。

    Mar, 2024

  • 服装和背景替换的修补注入流程

    通过整合先进的生成人工智能（GenAI）和计算机视觉技术，本研究探索了一种综合方法，重点是图像操作。研究的有效性在实验中得到验证，强调了其在生成引人注目内容方面的潜力，使用户能够根据特定提示对个人照片进行服装和背景的修改，无需手动输入修复遮罩，从而有效地将主题植入创意想象的广阔景观中。

    Feb, 2024

  • 填写 ____ （基于扩散的图像修复流程）

    图像修复是将图像中的缺失或故意遮挡部分恢复出来的过程，在现代修复技术中，我们提供了当前主要方法的概述和评估，并着重解决了现有模型在生成过程中缺乏提示和控制能力的问题，并提供了多种实现该功能的方法。最终，通过对生成的高质量图像进行定性检查，我们评估了我们的方法的结果是否能正确地修复指定区域。

    Mar, 2024

  • 可学习的双向关注映射用于图像修复

    本文提出了一种可学习的注意力地图模块，用于端到端的学习特征重归一化和遮罩更新，在适应不规则孔和卷积层传播方面具有高效性。此外，引入了可学习的反向注意力地图，使解码器集中于填充不规则孔，而不是重构两个区域，结果显示我们的方法可以生成更清晰，更连贯和更逼真的修复结果，并提供源代码和预先训练的模型。

    Sep, 2019

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 学习先验特征和注意力增强图像修复

    本文提出使用受自我监督预训练的 MAE 方法，作为 inpainting 模型的新骨架，并加入 MAE 注意先验，以增强 inpainting 模型的长距离依赖性，验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。

    Aug, 2022