多视角三维物体识别的深度模型综述

Apr, 2024

多视角三维物体识别的深度模型综述

Deep Models for Multi-View 3D Object Recognition: A Review

Mona Alzahrani, Muhammad Usman, Salma Kammoun, Saeed Anwar, Tarek Helmy

TL;DR综述了基于多视图三维物体识别方法在三维分类和检索任务方面的最新进展，聚焦于基于深度学习和基于 Transformer 技术的方法，包括常用的三维数据集、相机配置和视角数量、视角选择策略、预训练卷积神经网络架构、融合策略以及在三维分类和检索任务上的识别性能，同时考察了多视图分类在计算机视觉应用中的各种情况，并凸显了关键发现和未来发展方向。

Abstract

Human decision-making often relies on visual information from multiple perspectives or views. In contrast, machine learning-based object recognition utilizes information from a single image of the object. However, the information conveyed by a single image may not be sufficient for accurate decision-making, particularly in complex recognition problems. The u

multi-view 3d object recognition deep learning-based techniques transformer-based techniques 3d classification 3d retrieval

发现论文，激发创造

多视角卷积神经网络用于 3D 形状识别

本研究论述了通过 CNN 架构识别单个和多个渲染图像视角的 2D 视图图集能够在 3D 物体识别方面表现出更好的性能，提出并证明 CNN 架构结合多个视角信息可提供更好的识别性能，同样适用于人手绘图的物体识别。

May, 2015

3M3D: 多视角、多路径、多表征 3D 目标检测

提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

Feb, 2023

基于 Transformer 的多视角三维重建

本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

Mar, 2021

深度神经网络在三维泛化中的特性探究

本文旨在研究和描述深度学习模型对于目标在不同旋转角度下的 2D 图像是否能够进行准确分类，探讨了三种通用的模型 (3D 通用、纯 2D 匹配和基于视角线性组合匹配) 在模型泛化性方面的表现，其中可以发现深度模型泛化能力强，但是其实现方式与这些现有模型不同。

Apr, 2023

精细化的三维物体识别：方法和实验

本论文通过提供离线和在线测试，证明使用深度学习方法进行三维物体识别在开放式领域中更为适用，同时混合手工制作和深度学习方法可以提高分类精度。

Jun, 2023

基于图像的三维物体重建：深度学习时代的现状和趋势

本篇综述文章总结了基于深度学习技术的图像三维重建方法，以形状表示、网络结构和训练机制为基础，介绍了近期该领域的研究进展和性能比较，并探讨未来研究的方向。

Jun, 2019

用于三维数据物体分类的体积和多视角卷积神经网络

本文围绕三维信息在物体分类中的重要性，通过改进现有的立体卷积神经网络和多视卷积神经网络结构，引入了基于多分辨率过滤的三维多视卷积神经网络，取得了比现有技术更好的分类效果，并提供了相关实验结果和设计思路分析。

Apr, 2016

深度学习技术在三维感知数据分类中的综述

本文综述了当前处理非结构化欧几里得数据的深度学习架构，并提供了自动理解和分类三维感测数据的算法需求和未来研究价值的文献支持。

Jul, 2019

基于三维面部模型和深度学习的人脸分类与识别增强

通过将三维面部模型与深度学习方法相结合，本研究提出了一种新的方法来增强面部分类和识别任务，从而精确分析和分类面部属性。使用三维面部模型提取各种任务的最有用信息，从而提高了分类准确性。将三维面部洞察力与 ResNet 结构相结合，本方法取得了显著的结果：100％个体分类准确性，95.4％性别分类准确性和 83.5％表情分类准确性。这种方法有望推进面部分析和识别的研究。

Dec, 2023

深入探究 3D 形状分类器

本研究研究了 3D 形状分类的表示和架构的作用，通过变化训练示例的数量和使用跨模态迁移学习，研究了现有深度架构的初始化对 3D 形状分类的影响，结果表明，多视图方法即使没有在大型标记图像数据集上预训练，甚至在训练简化输入（如二进制轮廓）时，也能提供最好的泛化性能。此外，从图像表示进行跨模态传输可以改善基于体素的 3D 卷积网络和基于点的架构的性能。最后，通过不可区分噪声，研究了 3D 形状分类器对于对抗性变化的鲁棒性，结果发现基于点的网络对于点位置扰动更为稳定，而基于体素和多视图的网络则很容易被输入中的微不足道的噪声所欺骗。

Sep, 2018