本研究主要针对无人车自主驾驶问题，通过领域自适应的方式解决了对 360 度视角全景图像中层次分割的无监督学习问题；通过新的数据集 DensePASS，以及基于关注机制的自适应算法框架 P2PDA 实现了从针孔图像到全景图像的专业语义分割。实验证明，该框架相比于其他无监督学习和全景图像分割方法，有着更高的准确率和更高的效率。

Oct, 2021

本文采用领域适应的角度，针对 360 度车载相机图像的全景语义分割问题，提出了使用基于注意力机制的跨域全景语义分割框架，并公开了一个密集标注且包含有标注和无标注的全景图像数据集 DensePASS。在两个标准分割网络中使用我们的框架，相对 Mean IoU 会在 6.05% 和 11.26% 之间获得排名的提高。

Aug, 2021

利用变形补丁嵌入（DPE）和变形 MLP（DMLP），并结合传输学习方法，将针孔相机图像的语义注释和 360 度环视视觉的语义注释结合起来，从而实现全景图像的稳健分割，并通过互补原型自适应实现无监督域自适应。在 Stanford2D3D 数据集中，与完全受监督的现有技术相比，我们的 Trans4PASS 与 MPA 保持可比的性能，而无需超过 1,400 个标记化全景图像。在室外 DensePASS 数据集中，我们打破了现有技术水平，使 mIoU 提高了 14.39％，将新标准设定为 56.38％。

Mar, 2022

本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

Aug, 2023

本文提出了一种新颖而灵活的双路径无监督域自适应框架，DPPASS，利用 ERP 和切向投影 TP 图像作为输入；通过交叉投影和内部投影训练来减少域差异，最终在两个基准测试中实现了超过 1.06％的 mIoU 增量。

Mar, 2023

本文提出了一种用于针孔图像到全景图像语义分割的无源无监督域自适应（SFUDA）的新方法，该方法利用了割裂等距投影、固定视场角的损失和全景原型自适应模块（PPAM），以及跨双重注意模块（CDAM），通过提取并转移知识实现域间适应。实验证明，该方法在合成和真实世界基准测试中表现显著优于现有的 SFUDA 方法。

Mar, 2024

本文提出了一种全景视频数据集 PanoVOS，通过对现有的 15 个视频对象分割模型进行评估，发现它们都无法解决全景视频中像素级内容不连续的问题。因此，我们提出了一种全景空间一致性转换器 (PSCFormer)，可以利用前一帧的语义边界信息与当前帧进行像素级匹配。大量实验证明，与现有的模型相比，我们的 PSCFormer 网络在全景设置下的分割结果方面具有巨大优势。希望我们的 PanoVOS 数据集能够推动全景分割 / 跟踪的发展。

Sep, 2023

本文研究了针对针孔到全景语义分割的无源无监督域自适应（SFUDA）问题，通过仅有预训练的针孔图像模型（即源模型）和未标记的全景图像（即目标模型）。我们提出了一种名为 360SFUDA ++ 的方法，有效地从源针孔模型中提取知识，并将可靠的知识转移到目标全景领域。我们利用切线投影（TP）和等面积投影（ERP）分别进行知识提取，并引入了 RP2AM 和 CDAM 模块以更好地转移和对齐知识。通过在合成和真实场景的广泛实验中表明，我们的方法相较于先前的 SFUDA 方法具有显著更好的表现。

Apr, 2024

本研究提出了一种处理全景图像的深度学习算法，通过样式和投影转换，重新训练和调整现有的算法，从单目全景图像中恢复场景深度和车辆的三维姿态，大大提高了无人驾驶汽车使用全景摄像头时的准确性。

Aug, 2018

本文提出了一种两阶段的 360 度全向图像超分辨率框架，利用全向位置感知可变形块（OPDB）和傅里叶上采样，以及空间频率融合模块（SFF）来增强 360 度全向图像的特征提取和高频信息，通过像素解交错操作和数据的收集和处理，该方法在 NTIRE 2023 挑战中的成绩卓越。

Apr, 2023