- 走向稳定可靠的修复填充
提出了一种基于稳定先验的平衡解决方案 ASUKA,以在引导修复细节的同时保持生成能力。通过对齐遮蔽和未遮蔽区域,并采用特殊设计的解码器,ASUKA 显著提高修复的稳定性和真实性,得到了与 SD 和其他修复算法相比的验证效果。
- Inpaint3D: 使用 2D 修复扩散生成 3D 场景内容
本文介绍了一种新颖的方法,通过将 2D 扩散模型提炼为学习的 3D 场景表示(例如 NeRF),对给定的有掩模的多视图图像进行 3D 区域修补。
- DeepDR: 深度结构感知的 RGB-D 修复用于减弱现实
Diminished reality 通过使用 inpainting 技术生成并纠正场景的图像和几何结构,DeepDR 框架在实时帧速率下运行,具有最小的时间伪影,并在复杂背景下重建锐利和一致的边界。
- 病理图像配准的语义感知无监督分割的协同学习
本文提出了 GIRNet,一种通过分割和修复原则 (GIR) 将分割、修复和注册模块同时训练的新颖无监督病理图像注册方法。在多个数据集上的实验结果表明我们的方法能够准确实现病理图像的注册,并在挑战性成像模式下有效地识别病变。我们的无监督方法 - 图像合成任务中的感知伪影定位
近期,深度生成模型在各类任务中取得了创建逼真图像的重要进展,然而,这些生成的图像往往在特定区域出现知觉上的瑕疵,需要手动修复。本研究通过全面的实证研究,提出了感知性瑕疵定位(PAL)的方法,跨越多样的图像合成任务。我们引入了一个新的数据集, - 多样化的语义图像编辑与风格编码
本研究提出了一个框架,能够以一种新的机制对可见和部分可见的对象进行编码,以实现样式编码和最终生成之间的一致性。通过与以前的条件图像生成和语义图像编辑算法进行广泛比较,我们的实验表明,我们的方法在技术上显著改进。我们的方法不仅在定量结果上取得 - ImageBrush:学习基于示例的图像操纵的视觉上下文指导
本文提出了一种名为 ImageBrush 的新型操作方法,通过学习视觉指示来实现更准确的图像编辑,其中关键思想是利用一对转换图像作为视觉指示来准确捕捉人类意图并在现实场景中实现可访问性。通过将视觉指示的学习形式化为基于扩散填充的图像修复问题 - 通过联合区域定位和修复来防御对抗性图像贴片
利用本文提出的 “定位和修复” 机制来处理图像输入,通过协同训练 “定位” 和 “修复” 模块,实现对各种对抗性贴片攻击的防御。
- VampNet: 通过掩码声学令牌建模进行音乐生成
VampNet 是一种掩码声学令牌建模方法,可用于音乐合成、压缩、修补和变体,通过在推断过程中应用各种遮罩方法来从模型中采样连贯的音乐。
- 通过潜在扩散模型的后验抽样可证明解决线性反问题
我们提出了第一个框架,利用预先训练好的潜在扩散模型来解决线性反问题。在理论和实验分析中,我们都展现出在各种问题中都优于先前提出的后验采样算法,包括随机修补、块修补、去噪、去模糊处理、去除条纹和超分辨率。
- 地中海 - 阿尔卑斯弧线区域古代壁画的深度图像先验修复
本文介绍了一种基于 Deep Image Prior 算法的图像修复方法,该方法对于数字人文领域中古老壁画的修复效果优于基于变分 / PDEs 和基于块的方法。作者通过将修复数据引入到一个未经过训练的卷积神经网络中,利用可靠信息匹配来完成修 - 为 StableDiffusion 设计更好的不对称 VQGAN
StableDiffusion 是一种革命性的文本到图像生成器,它通过使用 VQGAN 学习潜在空间中的扩散模型,支持图像生成和真实图像的编辑,例如图像修复和局部编辑。作者提出了一种新的不对称 VQGAN 模型,它通过任务特定的先验信息和解 - PaintSeg: 通过绘画实现无需训练的分割
本篇论文提出了一种无监督分割方法,使用了基于对抗过程的遮罩对比上色技术,通过 inpainting 和 outpainting 逐步接近真实目标分割遮罩。实验结果表明该方法在不同类型的分割任务方面表现都优于现有方法。
- InpaintNeRF360:文本引导的无限神经辐射场三维修复
本研究提出了一种名为 InpaintNeRF360 的框架,通过自然语言指令的帮助,利用可提示分割模型对 NeRF 场景中缺失的区域进行修复。该方法应用了多个视角的分割以保证视角的一致,同时还利用感知先验进行后续的修整以确保视觉真实性并增强 - 2023 年脑瘤分割挑战赛:通过修补局部合成健康脑组织
为了解决由初始病态扫描引起的问题,参与者的任务是探索补全技术,将病态的脑部扫描合成健康的脑部扫描,这是 BraTS 2023 inpainting 挑战的目标。
- DreamPaint: 基于小样本的电子商务物品修复算法,用于虚拟试穿,无需 3D 建模
DreamPaint 是一种无需 3D 建模,可以智能地将电子商务产品插入到用户提供的上下文图像中进行虚拟试穿的方法,使用了预训练的扩散模型和补全模块,并且在主观和量化指标方面都表现出优越的性能。
- 参考引导型可控神经辐射场修复
本文提出了一种使用神经辐射场(NeRF)编辑工具进行图像修补的方法,仅需要一个修补后的场景参考视图和模板,通过新颖的渲染技术和基于图像修补工具的方法,可以在非参考视图上构造视图相关的效果,提供了更好的修补性能和用户控制。
- 自动高分辨率电线分割和去除
本文提出了一种自动电线清理系统,可以在几秒钟内准确、高效地对高分辨率图像中的电线进行分割和去除,并介绍了第一个电线分割基准数据集 WireSegHR。通过定量和定性的实验,证明了该系统能够自动清除电线并具有良好的泛化性。
- CVPRRenderDiffusion:用于 3D 重建、修补与生成的图像扩散
本文提出了 RenderDiffusion,这是第一个用于 3D 生成和推断的扩散模型,使用仅有的单眼 2D 监督进行训练,并采用新颖的图像去噪架构进行中间的三维表示,以提供强烈归纳结构,同时仅需要 2D 监督。我们在 FFHQ、AFHQ、 - CVPR面部去遮挡网络用于虚拟远程系统
本研究提出了一种解决虚拟现实设备遮挡人脸问题的深度学习图像修补方案,使用户在虚拟世界中的面部外观更加逼真。