SaiNet: 带有生成网络的立体感知物体遮挡修复
该论文提出了一种使用迭代式几何感知交叉引导网络实现立体图像修复的方法,该方法包含几何感知注意力模块和迭代交叉引导策略,可以提高两个视图之间对应区域的一致性,实现对立体图像的修复。实验结果表明,与最新的立体图像修复模型和最先进的单张图片修复模型相比,我们提出的网络表现更好。
May, 2022
本研究提出了一种基于语义引导和评估网络的图像修复算法,该算法在每个缩放级别利用语义分割图指导图像修复过程,并利用迭代更新方法实现结构先验和图像修复的协同更新,实验结果表明该方法在图像纹理清晰度和真实感等方面具有优越性。
Mar, 2020
通过引入语义分割信息,本文提出了一种两步法的图像修复模型,将图像修复过程分为分割预测(SP-Net)和分割导向(SG-Net)两个步骤,实验证明,该方法优于现有方法,提供了多模态图像修复的可能性。
May, 2018
本文提出了一套联合预测滤波和生成网络的混合框架 JpgNet,通过结合预测滤波网络和生成网络,同时保留局部结构和整体理解,并提出了一种不确定性感知融合网络,可用于图像修复领域。在 Dunhuang、Places2 和 CelebA 等数据集上的实验表明,这项技术可以显著改善三种最先进的生成模型,同时时间成本略有增加。
Jul, 2021
本文提出了一种利用扩张卷积密集组合,通过设计自主回归损失、几何对齐约束项和具有局部和全局分支的判别器等方法改进图像修复的 GAN 模型。实验表明,该方法在多个公共数据集上都优于现有的最先进方法。
Feb, 2020
本研究提出一种自我先验的网格修补框架,通过引入两个自监督图卷积网络训练来实现,从而在不需要任何训练数据集的情况下只需一个不完整的网格作为输入,并在修补过程中保持原始多边形网格格式,最终可以生成一个修补好的多边形网格。
May, 2023
本文提出了一种基于深度学习的姿态引导的人类照片重新合成方法,它基于单张照片估计完整身体表面纹理,并使用一个新的修补方法将图像纹理转换为目标姿势视图。
Nov, 2018
基于深度学习的方法在全景图像修复任务中显示出令人鼓舞的结果,但现有方法难以区分有效像素与无效像素并找到适当的参考区域,从而导致修复结果中出现伪影。针对这些挑战,我们提出了一种全景图像修复框架,包括一个面部生成器、一个立方体生成器、一个附属分支和两个判别器。我们使用 Cubemap 投影格式作为网络输入。生成器通过门控卷积区分有效像素和无效像素,而附属分支采用上下文重建损失来指导生成器找到最适合修复缺失区域的参考补丁。在 PSNR 和 SSIM 方面,将所提出的方法与最先进的方法 (SOTA) 在 SUN360 Street View 数据集上进行比较。实验结果和消融分析表明,所提出的方法在定量和定性方面均优于 SOTA。
Feb, 2024
从单一源图像生成一致的新视图的方法,利用单目深度估计器将源视图的可见像素转移到目标视图,并通过基于外极线的新的屏蔽机制进一步改善方法的质量,从而在各种对象上实现零样本新视图合成。
Oct, 2023
本文提出了一种优化遮罩的方法,通过图像修复来提高对象去除的质量。通过使用分割提取的对象遮罩来训练修复网络,并在推断步骤中使用这些遮罩,解决了训练和推断图像之间的域差异问题。此外,通过连接分割网络和修复网络进行端到端训练,以改进修复性能,并通过遮罩扩展损失来实现大型和小型遮罩之间的权衡,进一步增强了端到端训练的效果。实验结果证明了我们的方法在通过图像修复实现更好的对象去除方面的有效性。
Mar, 2024