本研究提出了一种针对单个室内 360 度图像的平面感知卷积神经网络方法，可实现密集的深度和表面法向估计以及平面边界识别，此外，添加测地线坐标图作为网络先验可显著提高表面法向预测准确性，最终可以将网络的输出组合用于生成高质量的室内场景 3D 模型。

Jul, 2019

该论文提出了一种从单个全景图像中恢复室内场景的三维布局恢复新方法，该方法结合几何推理和深度学习技术，从而提取结构角并生成房间的布局模型，并在 SUN360 和 Stanford 公共数据集上进行实验。

Jun, 2018

利用粗糙的三维注释和有噪音的二维语义线索结合，从任意视角生成一致的全景标签和高质量图像。

Sep, 2023

我们提出了一种新型的 FCN，能够与全向图像一起工作，输出精确的概率地图，表示室内场景的主要结构，能够适用于不同的数据。我们的方法处理遮挡，并且更准确地恢复了房间实际形状。我们不仅在 3D 模型精度方面优于现有技术，而且在速度方面也优于现有技术。

Aug, 2018

本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

Aug, 2023

本文提出了一种全景图像 - 图像转换的畸变感知模型，采用球形位置编码器和无畸变鉴别器，利用变形感知编码器和样式编码器处理全景图像和针孔图像的大领域差异，并且将全景图像的重构阶段与转换阶段分开学习，取得了不错的效果。

Apr, 2023

本研究提出了一种基于全景图像的新颖的三维场景理解方法，通过设计基于图神经网络的上下文模型来预测物体之间的关系和房间布局，以及可微分的基于关系的优化模块来优化物体排列，实现对全景三维场景的理解， 并制备了具有多样化房间布局和家具摆放的真实感合成数据集，在几何精度和目标布置方面优于现有方法。

Aug, 2021

本文提出了一种使用深度先验的方法，从单个全景图中同时复原物体形状、定向边界框和三维房间布局，为了充分利用丰富的上下文信息，设计了一个基于 transformer 的上下文模块来预测场景各组成部分之间的表示和关系。实验表明，我们的方法在布局估计和三维物体检测方面优于先前的全景场景理解方法。同时，本文还引入了一个包括照片逼真的全景图、高保真深度图、精确注释的房间布局和定向物体边界框和形状的真实世界数据集。

May, 2023

该研究探索了半监督学习和三维室内布局重建的交叉领域，提出了使用标记和未标记数据学习房间角和边界表示的方法，利用 360 度全景场景实现了改进的室内布局估计。实验结果表明，该方法同样精准，仅需使用 12％的标记数据。这项工作是实现使用有限标记数据进行三维感知的强大半监督布局估计的重要第一步。

Mar, 2021

PanelNet 是一种室内环境感知框架，它通过创新的面板表示法对 360 度室内全景图片进行表征，包括嵌入式网络编码的几何特征、通过 Local2Global Transformer 聚合的区域信息以及整体局部的几何背景，从而在室内深度估计和室内布局估计和语义分割等任务上取得了最优结果。

May, 2023