室内全景图像物体识别
本研究提供一个实际的室内 360 度全景物体检测数据集(360-Indoor),包含 37 个操作室内场景中常见的物体类别,每张图像平均 27 个包围盒。该数据集是首个用于验证 360 度图像上物体检测和识别的基准数据集。
Oct, 2019
提出了一个高分辨率的全景图(360 度,虚拟现实)数据集,以进行对象检测,并提出了 YOLO 检测器的多投影变体。通过使用传统数据集中可用的训练示例,仅使用中等 GPU 计算能力和内存的低分辨率图像,以及采用多投影 YOLO 处理投影畸变,解决了全景图像缺乏注释训练数据,高分辨率和几何畸变的主要挑战。在实验中,YOLO 优于其他先进的检测器,而我们的多投影 YOLO 在低分辨率输入方面实现了最佳精度。
May, 2018
本文提出了一种使用深度先验的方法,从单个全景图中同时复原物体形状、定向边界框和三维房间布局,为了充分利用丰富的上下文信息,设计了一个基于 transformer 的上下文模块来预测场景各组成部分之间的表示和关系。实验表明,我们的方法在布局估计和三维物体检测方面优于先前的全景场景理解方法。同时,本文还引入了一个包括照片逼真的全景图、高保真深度图、精确注释的房间布局和定向物体边界框和形状的真实世界数据集。
May, 2023
本研究提出了一种处理全景图像的深度学习算法,通过样式和投影转换,重新训练和调整现有的算法,从单目全景图像中恢复场景深度和车辆的三维姿态,大大提高了无人驾驶汽车使用全景摄像头时的准确性。
Aug, 2018
该论文提出了一种从单个全景图像中恢复室内场景的三维布局恢复新方法,该方法结合几何推理和深度学习技术,从而提取结构角并生成房间的布局模型,并在 SUN360 和 Stanford 公共数据集上进行实验。
Jun, 2018
PanelNet 是一种室内环境感知框架,它通过创新的面板表示法对 360 度室内全景图片进行表征,包括嵌入式网络编码的几何特征、通过 Local2Global Transformer 聚合的区域信息以及整体局部的几何背景,从而在室内深度估计和室内布局估计和语义分割等任务上取得了最优结果。
May, 2023
本研究提出了一种基于全景图像的新颖的三维场景理解方法,通过设计基于图神经网络的上下文模型来预测物体之间的关系和房间布局,以及可微分的基于关系的优化模块来优化物体排列,实现对全景三维场景的理解, 并制备了具有多样化房间布局和家具摆放的真实感合成数据集,在几何精度和目标布置方面优于现有方法。
Aug, 2021
该研究探索了半监督学习和三维室内布局重建的交叉领域,提出了使用标记和未标记数据学习房间角和边界表示的方法,利用 360 度全景场景实现了改进的室内布局估计。实验结果表明,该方法同样精准,仅需使用 12%的标记数据。这项工作是实现使用有限标记数据进行三维感知的强大半监督布局估计的重要第一步。
Mar, 2021
本文提出了一种从单个全景图像中估计房间几何和物体三维姿态的方法,该方法组合了曲面法向估计、二维物体检测和三维物体姿态估计等多种技术,并以贝叶斯推断的方式实现了估计。作者在合成的 3D 房间数据集和 SUN360 数据集的手工标注子集上进行了定量实验。
Sep, 2016