GLaMa:通用图像修补的联合空间和频率损失
提出了一种基于快速傅里叶卷积(FFC)的图像修复网络结构的新方法 —— 大掩模修复(LaMa),该方法使用高接受场感知损失和大型训练掩模使网络具有更大的接受场,通过在各项数据集上的实验得到了优越的性能。
Sep, 2021
本文研究了数字艺术修复领域中三种最先进的新兴的大面积修复模型 CoModGANs,LaMa 和 GLIDE。通过我们的测试研究 - 艾舍的不完整的画作 “图片展”,我们提供了这些模型在图像的模糊和丢失部分修复方面的定量和定性比较。
May, 2022
本文提出了一种名为 DeepGIN 的深度生成修复网络,采用空间金字塔扩张 ResNet、多尺度自注意力机制和反向投影技术等方法实现多种类型图像修复,且在 FFHQ 和 Oxford Buildings 数据集中比其他具有代表性的方法表现更好。
Aug, 2020
基于深度学习的方法在全景图像修复任务中显示出令人鼓舞的结果,但现有方法难以区分有效像素与无效像素并找到适当的参考区域,从而导致修复结果中出现伪影。针对这些挑战,我们提出了一种全景图像修复框架,包括一个面部生成器、一个立方体生成器、一个附属分支和两个判别器。我们使用 Cubemap 投影格式作为网络输入。生成器通过门控卷积区分有效像素和无效像素,而附属分支采用上下文重建损失来指导生成器找到最适合修复缺失区域的参考补丁。在 PSNR 和 SSIM 方面,将所提出的方法与最先进的方法 (SOTA) 在 SUN360 Street View 数据集上进行比较。实验结果和消融分析表明,所提出的方法在定量和定性方面均优于 SOTA。
Feb, 2024
提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法,通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果,并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。
Apr, 2023
该研究提出了一种有效的频空间补偿网络 (Frequency-Spatial Complementary Network),通过利用空间和频率域中丰富的语义信息建立了额外的频率支路和频率损失,并提出了一种频率 - 空间跨域注意力块 (Frequency-Spatial Cross-Attention Block) 来融合多域特征和结合对应的特征。通过测试和量化实验,证明了该方法在保留高频细节、语义结构和视觉一致性方面表现优异。
Jul, 2023
该论文介绍了一种用于图像修复的新型深度神经网络,该网络包含了一个修复分支和两个辅助分支,能够有效地利用多模式定位和语义信息,实现对各种正 / 不规则图像遮挡的修复,达到了最好的效果。
Aug, 2022
通过深度学习,对于图像和视频修复的基于深度学习的方法进行综合评述,并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时,讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用,并探讨了公开挑战和未来可能的研究方向。
Jan, 2024