融合局部相似性实现对未知物体的基于检索的三维方向估计
提出一个新的 6D 目标位姿估计方法,利用神经渲染器重建物体的潜在三维表示,从而优化给定输入图像的位姿估计,并通过对大量三维形状进行训练,使其具有很好的泛化性能。
Dec, 2019
该研究提出了一种结合了深度学习和三维几何的方法,利用未带纹理的 CAD 模型和不需要针对新对象进行训练的方法,检测和估计图像中物体的 3D 姿态,并利用 Mask-RCNN 实现无需重新训练的对象检测,从而限制可能的对应关系数量。实验结果表明,该方法与之前的方法相当或更好。
Oct, 2020
利用物体分类内部几何规律的数据驱动姿态估计方法。首先,从 2D RGB 图像学习物体部分的姿态不变局部描述符。将这些描述符与来自固定3D 模板的关键点结合使用,生成给定单眼实际图像的关键点对应图。最后,使用这些关键点对应图,预测物体的3D 姿态。该方法在多个真实环境的视角估计数据集,如 Pascal3D + 与 ObjectNet3D 上的表现达到最佳水平,并且我们公开了所使用方法的代码以鼓励再生研究。
Sep, 2018
本文提出了一种在非受控环境下从野外拍摄的单张图像中推断人类和物体的空间布局和形状的方法,并证明了尝试联合考虑人类和物体可以通过引入 3D 常识约束来减少可能的 3D 空间配置。
Jul, 2020
我们提出了一种基于实时 RGB 的管道来实现物体检测和六自由度姿态估计。我们的创新性三维方向估计基于域随机化训练的三维模型的模拟视图,采用了变体的降噪自编码器。我们称之为增强自编码器相较于现有方法具有多个优点:它不需要真实标注的训练数据,适用于各种测试传感器,固有的处理物体和视角对称性。我们提出了一种隐式表征物体方向的方法,定义了潜在空间内的样本,而不是学习从输入图像到对象姿态的显式映射。我们的管道在 T-LESS 数据集的 RGB 和 RGB-D 领域均取得了最新成果。我们还在 LineMOD 数据集上进行评估,其中我们可以与其他合成训练方法竞争。当物体偏离图像中心时,通过纠正三维方向估计来进一步提高性能,并展示了扩展结果。
Feb, 2019
本研究提出了一种基于 CAD 模型的局部特征匹配方法,无需对新物体进行训练即可实现新物体的识别和三维位姿估计,实验证明该方法能够实现对不同于训练集的新物体的泛化,明显优于其他基于模板匹配的方法。
Mar, 2022
通过融合 2D 纹理和 3D 几何线索的通用方法 MatchU 实现了对未见过的物体的 6D 位姿估计,并通过编码面向位姿的几何结构和融合 RGB 信息的注意力机制来解决模糊关联问题,无需昂贵的重新训练或渲染,在准确性和速度方面超过了所有现有方法。
Mar, 2024
利用深层卷积神经网络对地面和卫星俯视图进行交叉检索,实现图像地理定位,提出了一种新的损失函数,并采用多种匹配机制和旋转不变训练来提高图片匹配精度和效率。
Jul, 2016
该研究使用单视角三维形状检索,通过系统性评估考察了目标 3D 形状数据库中的物体遮挡、未见过的 3D 形状数据以及输入图像中的未见过的物体对性能的影响,并提出了合成数据集生成流程。实验结果表明,通过在具有遮挡的合成数据集上进行预训练,然后在真实数据上进行微调,可以显著提高模型性能,并且对于未见过的 3D 形状和未见过的物体具备鲁棒性。
Dec, 2023