本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

Aug, 2023

自监督表征学习在提取图像特征方面取得了近期的进展，但在面对对称性和重复部分等具有挑战性的图像特征时仍存在限制。为了解决这些限制，本文提出一种新的语义对应估计方法，将有区分度的自监督特征与三维理解相结合，通过弱几何球面先验进行补充。与更复杂的三维流程相比，我们的模型仅需要弱视点信息，我们球面表示的简单性使我们能够在训练过程中注入信息丰富的几何先验。我们提出了一个更好地考虑重复部分和对称性误差的新评估指标。我们在具有挑战性的 SPair-71k 数据集上呈现结果，表明我们的方法能够在许多物体类别上区分对称视图和重复部分，并且还证明我们能够推广到 AwA 数据集上的未见类别。

Dec, 2023

这篇论文提出了一种新的网络模型 (DAMO) 来解决室内全景图像中对象失真的问题，该模型采用扭曲卷积来处理几何失真，进一步引入了基于球形感知的权重矩阵来处理由球体投影引起的不均匀分布，在 360D 数据集上实现了效果最佳的表现。

Oct, 2020

本文介绍了一种新的编解码方法，可以压缩成对立体图像并利用解码器端的相关性附加信息，以更有效地重构图像。该算法利用了交叉注意力模块对齐处理相关特征图，实验验证了其在 KITTI 和 Cityscape 数据集上的优越性能。

Jul, 2022

利用变形补丁嵌入（DPE）和变形 MLP（DMLP），并结合传输学习方法，将针孔相机图像的语义注释和 360 度环视视觉的语义注释结合起来，从而实现全景图像的稳健分割，并通过互补原型自适应实现无监督域自适应。在 Stanford2D3D 数据集中，与完全受监督的现有技术相比，我们的 Trans4PASS 与 MPA 保持可比的性能，而无需超过 1,400 个标记化全景图像。在室外 DensePASS 数据集中，我们打破了现有技术水平，使 mIoU 提高了 14.39％，将新标准设定为 56.38％。

Mar, 2022

采用端到端的深度学习方法建立密集的形状对应关系，并随后压缩 3D 全身重建数据。

Oct, 2018

本研究主要针对无人车自主驾驶问题，通过领域自适应的方式解决了对 360 度视角全景图像中层次分割的无监督学习问题；通过新的数据集 DensePASS，以及基于关注机制的自适应算法框架 P2PDA 实现了从针孔图像到全景图像的专业语义分割。实验证明，该框架相比于其他无监督学习和全景图像分割方法，有着更高的准确率和更高的效率。

Oct, 2021

该研究提出了一种基于分离正交平面、软翻转融合策略、特征组装机制和三重注意力的室内布局估计方法，通过实验表明其在四个基准测试中具有优越性能。

Mar, 2023

360 深度估计是重建三维场景的关键技术之一。本文提出了一种名为 Elite360D 的新框架，通过使用 ERP 图像和 ICOSAP 点集，结合局部和全局特征，有效地估计 360 深度，其在多个基准数据集上优于之前的方法。

Mar, 2024

本文提出了一种将立方体贴图特征单向馈送到全景图特征的融合框架，并设计了一个更有效的融合模块。实验证明了该融合策略和模块的有效性，该模型在四个流行数据集上实现了最先进的性能。

Feb, 2021