超越视角:通过联合多部分表示实现任意视角下的稳健三维物体识别
本研究论述了通过CNN架构识别单个和多个渲染图像视角的2D视图图集能够在3D物体识别方面表现出更好的性能,提出并证明CNN架构结合多个视角信息可提供更好的识别性能,同样适用于人手绘图的物体识别。
May, 2015
本篇论文提出了一种基于卷积神经网络(CNN)的模型“RotationNet”,该模型通过多视角图像作为输入,共同估计物体的姿态和类别,并使用无对齐数据集中学习的潜在的视点标签,通过部分输入多视角图像可以推断出结论,与其他方法不同,RotationNet实现了不需要以往所依赖的工具,在全物体分类和姿势估计方面均取得了最新的成果,有效性已经得到证实。
Mar, 2016
FG3D-Net是一种用于3D形状分类的方法,它通过引入fine-grained的数据集和part-view attention等技术,提高了在3D形状细分类别上的识别精度。
May, 2020
本文介绍了一种基于多角度变换的深度学习网络架构,通过改变视角,以使得机器在3D形状识别任务中取得更好的性能。该网络框架在静态视角方法的基础上,实现了自适应动态视角模式,将深度学习与可微渲染技术相结合,并在三个公开数据集上取得了较高的识别精度。
Nov, 2020
本研究提出了一种名为MVTN的多视图转换网络,利用可微分渲染确定最佳视点进行三维形状识别,将其集成到新颖的自适应多视图流程中,在几个基准测验中表现出3D分类和形状检索的最先进性能,并展示了相对于其他方法更好的遮挡鲁棒性,并探讨了MVTN的其他方面,如二维预训练和其用于分割,同时公开了使用多视图投影进行3D理解和生成的PyTorch库MVTorch。
Dec, 2022
本研究介绍了一种基于多视角几何的3D物体检测方法VEDet,通过视点感知和等变性,利用查询式转换器系统将三维场景转化为位置编码来提高目标定位精度,并在损失层面进行多视角一致性规范化,通过丰富的几何线索提高性能以优化现有方法。
Mar, 2023
通过与2D相机平面结果对齐的方法,本研究提出了一种新颖的多相机三维目标检测方法,确保持一致且准确的检测结果。该方法通过视角校正,将鸟瞰视图特征渲染为多视图地图,并纠正了这些地图的透视偏差,利用隐含的前景体来连接相机与鸟瞰视图平面。该两步过程促进了视角和上下文无关特征的学习,对于准确地检测不同视角、相机参数和环境条件下的目标至关重要。此外,该方法采用基于模型的不可知的方法,而不需要额外的推理成本和对真实场景注释,从而促进了各种模型的无缝集成和简化部署。实验结果在领域泛化和无监督领域自适应方面明确展示了其有效性。
Oct, 2023
综述了基于多视图三维物体识别方法在三维分类和检索任务方面的最新进展,聚焦于基于深度学习和基于Transformer技术的方法,包括常用的三维数据集、相机配置和视角数量、视角选择策略、预训练卷积神经网络架构、融合策略以及在三维分类和检索任务上的识别性能,同时考察了多视图分类在计算机视觉应用中的各种情况,并凸显了关键发现和未来发展方向。
Apr, 2024
通过与ImageNet数据集相结合,ImageNet3D数据集提供了200个类别的2D和3D信息,从而为构建具有更强的通用性目标级三维理解的视觉模型提供了潜力。
Jun, 2024