密集特征交互网络用于图像修复定位
本文提出了一种名为Shift-Net的U-Net架构的特殊移位连接层,用于使用编码器任务中已知的区域以估算缺失部分,并通过引入辅助损失函数来训练整个模型,实现图像修复中具有更加清晰,精细纹理和逼真视觉效果的结果。
Jan, 2018
通过引入语义分割信息,本文提出了一种两步法的图像修复模型,将图像修复过程分为分割预测(SP-Net)和分割导向(SG-Net)两个步骤,实验证明,该方法优于现有方法,提供了多模态图像修复的可能性。
May, 2018
该研究提出了一种有前景意识的图像修复系统,通过分离结构推断和内容完成,学习预测前景轮廓并利用预测的轮廓进行纹理填充。实验表明,该方法在处理复杂图像的同时,能够显著提高图像修复的性能。
Jan, 2019
本文提出了一种基于U-Net结构的金字塔上下文编码网络(PEN-Net),并且使用深度生成模型实现图像修复,并通过逐层传递学习到的注意力,使得修复图像在视觉和语义上具有一致性和真实感。
Apr, 2019
本文提出了一种名为DeepGIN的深度生成修复网络,采用空间金字塔扩张ResNet、多尺度自注意力机制和反向投影技术等方法实现多种类型图像修复,且在FFHQ和Oxford Buildings数据集中比其他具有代表性的方法表现更好。
Aug, 2020
该研究探讨了视频修补检测技术,提出了一种双流编码器解码器体系结构和注意力模块的 VIDNet 方法,该模型采用误差级别分析数据增强处理 RGB 帧,进一步利用卷积 LSTM 模型对编码得到的多模态特征进行空间和时间关系的探索,并使用四个方向的局部注意力模块来检测像素是否被修补,实验结果表明 VIDNet 方法能够在各方面超越其他同类方法并且具有很好的泛化能力。
Jan, 2021
本文旨在进行普适图像修复检测,实现检测网络广泛应用于不同的deep image inpainting方法,通过提出新的数据生成方法,建立训练数据集,并设计了Noise-Image Cross-fusion Network,有效利用图像和噪声模式中的区分性信息,在多个基准数据集上实证表明,我们的方法优于现有的检测方法并且对未知的deep inpainting技术具备很好的泛化能力。
Jun, 2021
本研究提出了一种新的图像修复方法,结合了神经网络的先验知识和用户的引导,使用自动编码器和语义解码器完成两个阶段,实现对修复结果的自定义控制,实验结果表明该方法在修复质量和可控性方面优于现有方法。
Jan, 2022
通过引入新颖的遮罩感知像素混洗下采样模块(MPD)和在模型内进行高级推理的同时保持提取自损坏图像的可见信息的完整性的方法,以及通过空间激活通道注意力层(SCAL)提供的有效自注意力机制在多个尺度上对损坏图像建模,我们提出了一种端到端的高质量修复变换器 (HINT),该方法在CelebA、CelebA-HQ、Places2和敦煌等四个数据集上展示了超越当代最先进模型的卓越性能。
Feb, 2024
本研究提出了一种新的策略,将遮盖图像特征和噪声潜在特征分成独立分支,引入了BrushNet模型来将像素级遮盖图像特征嵌入任意预训练的扩散模型,以保证连贯和增强的图像修复结果,并通过多个指标评估实验证明了BrushNet在图像质量、遮盖区域保留和文本连贯性等七个关键度量上的优越性。
Mar, 2024