使用深度惩罚重建紧密对齐数百万图像
本研究提出了 “GAN 监督学习” 框架,该框架通过 GAN 生成的训练数据,同时学习判别模型,以及针对密集视觉对准问题的 GANgealing 算法,该算法采用 Spatial Transformer 将 GAN 生成的未对准数据随机样本映射到共同学习的目标模式上实现数据对准。实验结果表明此方法成功地对齐了复杂的数据,并发现了密集的对应关系。与过去的自监督对应算法相比,GANgealing 显著提高了效果,并在几个数据集上表现出色。该方法取得了与最先进的有监督对应算法相当甚至超过符合度,而且不需要使用任何对应关系监督或数据增强,仅在 GAN 生成的数据上进行训练。在精确对应方面,与最先进的有监督方法相比,我们的方法提高了多达 3 倍。此外,我们还展示了将其应用于增强现实、图像编辑和提前处理图像数据集以进行下游 GAN 训练等方面的应用。
Dec, 2021
我们提出了 3D Congealing 方法,这是一个新颖的问题,即对于捕捉到语义相似物体的 2D 图像进行 3D 感知对齐。我们的目标是将输入图像中的共享语义部分与 2D 图像中的知识聚合到共享的 3D 规范空间中,通过一个不依赖于形状模板、姿态或任何相机参数的通用框架来完成此任务。该框架的核心是一个将几何和语义信息封装在内的规范 3D 表示。优化过程结合了每个输入图像的规范表示和姿态,以及将 2D 像素坐标映射到 3D 规范框架以解决形状匹配的位置坐标映射。优化过程融合了来自预训练图像生成模型的先验知识和来自输入图像的语义信息。前者在这个限制条件下为任务提供了强大的知识引导,而后者则提供了减轻预训练模型中训练数据偏差所需的信息。我们的框架可用于各种任务,如对应匹配、姿态估计和图像编辑,在具有挑战性的光照条件下以及在野外在线图像集合中取得了优异的结果。
Apr, 2024
本文提出了一种基于卷积神经网络和不同 iable soft inlier scoring 模块的语义对齐方法,该方法无需繁琐的手工标注就能实现对不同但具有语义相关性的图像进行参数学习,并从几何上一致的对应关系计算对齐质量,达到了基于多个标准基准的语义对齐的最先进表现。
Dec, 2017
本论文提出了一种基于无监督深度学习的图像拼接框架,包括无监督的粗略图像对齐和无监督的图像重建两个阶段,使用了降分辨率变形支路和提高分辨率的精化支路,其精度优于现有的其他技术。
Jun, 2021
本研究提出了一种基于深度学习的图像融合算法,通过使用自对准模块和细节补全模块实现图像对齐和特征融合。在神经结构搜索的基础上,找到了更加紧凑和高效的网络结构,实现了比较优异的成果。
May, 2023
利用深度学习管道,同时对一系列畸变图像进行对齐和重构,并通过 Swin Transformer 模型分析顺序图像数据,通过注意力图检测相关图像内容并与离群值和伪影区分开来,利用神经特征图作为经典关键点检测器的替代方法,从而提供稠密图像描述符以寻找图像间的点对应关系,并运用此来计算粗略的图像对齐并探索其局限性。
Oct, 2023
本文提出了一种基于卷积神经网络的联合学习方法,以在语义相似的图像中获得稠密对应和发现对象地标,在解决训练数据不足方面取得了显著成效,并引入了概率学习方法以提高框架的稳健性,该方法在语义匹配和地标检测的多个标准基准测试中取得了最新的最佳表现。
Oct, 2019
本文提出了一种使用神经网络在高度自由的 RGB 图像中计算面部对应关系的最简单有效的方法,使用渲染可变姿势、表情、照明和遮挡的多样化三维面部模型生成大量人工数据集,结合真实照片培训表现在精度和速度上优于现有方法,并可以成功地处理极端姿势变化、遮挡和光照条件。
Sep, 2017
使用 Image-to-Image 翻译网络将输入图像及其深度图及面部对应图映射起来,可通过几何细化过程提供多种严格的人脸重建,只需在合成数据上训练即可对本地面部图像进行精确和鲁棒的重建。
Mar, 2017
本文提出了一种使用深度学习技术进行 3D 面部重建的新方法,其中使用了混合损失函数进行弱监督学习,同时利用多个图像进行面部重建,实现了快速、准确、鲁棒的重建效果,对不同数据集进行了综合实验,并与 15 种现有方法进行了比较,证明了其性能处于领先地位。
Mar, 2019