360 度切面图像的光流推算
本文介绍了一种使用多投影融合框架的深度神经网络来估计 360 度光流的方法,以解决全景表示在卷积神经网络中的畸变问题。同时,建立了第一个大规模的全景光流数据集,并证明了该方法在性能上优于现有的方法和其他处理 360 度内容的深度网络。
Jul, 2022
提出一种基于切线图像的高分辨率 360 度图像单目深度估计方法,通过将输入的 360 度图像投影到切线平面上得到透视视图,以此来支持最新的和最准确的单目深度估计器,采用可变形多尺度对齐和梯度域混合来重新组合单个深度估计,产生具有高分辨率和高细节的稠密 360 度景深图。
Nov, 2021
本文提出了 “正切图像”,这是一种球形图像表示,可促进可转移和可扩展的 360 度计算机视觉。通过在一个细分的二十面体上渲染球形图像,我们可以将其转换为消除畸变的局部平面图像网格的集合。通过在不改变细分级别的情况下独立地改变这些网格的分辨率,我们可以有效地表示高分辨率的球形图像,同时仍然从低畸变的二十面体球面近似中获益。我们展示了训练标准卷积神经网络在正切图像上的比较优越性,同时也可有效地处理显著更高的球面分辨率并具有高的可转移性。此外,由于我们的方法不需要专门的卷积核,因此我们证明了我们可以将在透视图像上训练的网络转移到球形数据上而不需要微调,而性能下降有限。最后,我们演示了正切图像可以用于改善球形图像上的稀疏特征检测的质量,说明了其在传统计算机视觉任务中的实用性,例如运动估计和 SLAM。
Dec, 2019
提出了一个基于视觉转换器的新型全景视频模型 SalViT360,利用切线图像表示,在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法,并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影,实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。
Aug, 2023
360 深度估计是重建三维场景的关键技术之一。本文提出了一种名为 Elite360D 的新框架,通过使用 ERP 图像和 ICOSAP 点集,结合局部和全局特征,有效地估计 360 深度,其在多个基准数据集上优于之前的方法。
Mar, 2024
本文研究探索了如何利用 360° 图像进行视觉目标的追踪,并介绍了由于大变形、拼接伪影和其他独特属性所带来的新挑战。为了解决这些问题,文中提出了一种新颖的目标定位表示方式 —— 边界视野,并引入了一个通用的 360° 追踪框架,该框架可以用于全向追踪。此外,为了促进未来的研究,作者提出了一个新的大规模全向追踪基准数据集 ——360VOT,其中包含 120 个不同场景中的序列,共有 113K 个高分辨率的等距投影帧。追踪目标涵盖 32 个类别。另外,作者还提供了 4 种无偏的基准数据,包括(旋转的)边界框和(旋转的)边界视野,并提出了适用于 360° 图像的新度量标准,以便对全向追踪性能进行准确评估。最后,作者还对 20 种最先进的视觉追踪算法进行了广泛评估,并为未来的比较提供了新的基准。
Jul, 2023
该研究提出了一种基于球面卷积网络的方法来处理 360° 全景图像,该方法可以有效地提取特征并利用预先训练的卷积神经网络,从而大大降低了计算量和提高了准确性。
Aug, 2017
对于全景图像和全景视频这样的视频信号,其常常存在各种视觉畸变,这篇文章对这些畸变进行了综述,为算法设计提供了依据,并且必要于心理视觉学习及交互性和沉浸式应用研究。
Jan, 2019
本文提出了一种感知自然合成全方位视角光流数据集 FLOW360,其中包括 40 个不同的视频和 4000 个视频帧。为适应全方位的本质,我们提出了一种新的全方位光流表示学习框架 SLOF,通过对比损失和光流损失相结合的混合损失函数对网络进行对比训练,证明了该框架的有效性,并表现出 40% 的性能提升。
Aug, 2022
提出一种新的神经网络架构,用于解决 360° 图像中的球面视差问题,并通过学习可移位滤波器构建代价体积以缓解失真问题,实验结果表明其对现有算法具有较好的鲁棒性和准确性。
Nov, 2019