CVPRDec, 2019

利用切线图像缓解球形畸变

PDF
TL;DR本文提出了 “正切图像”，这是一种球形图像表示，可促进可转移和可扩展的 360 度计算机视觉。通过在一个细分的二十面体上渲染球形图像，我们可以将其转换为消除畸变的局部平面图像网格的集合。通过在不改变细分级别的情况下独立地改变这些网格的分辨率，我们可以有效地表示高分辨率的球形图像，同时仍然从低畸变的二十面体球面近似中获益。我们展示了训练标准卷积神经网络在正切图像上的比较优越性，同时也可有效地处理显著更高的球面分辨率并具有高的可转移性。此外，由于我们的方法不需要专门的卷积核，因此我们证明了我们可以将在透视图像上训练的网络转移到球形数据上而不需要微调，而性能下降有限。最后，我们演示了正切图像可以用于改善球形图像上的稀疏特征检测的质量，说明了其在传统计算机视觉任务中的实用性，例如运动估计和 SLAM。
tangent imagesspherical imageconvolutional neural networkscomputer visionfeature detection
发现论文，激发创造
  • 学习球面卷积以从 360° 图像中快速提取特征

    该研究提出了一种基于球面卷积网络的方法来处理 360° 全景图像，该方法可以有效地提取特征并利用预先训练的卷积神经网络，从而大大降低了计算量和提高了准确性。

    Aug, 2017

  • 360 度切面图像的光流推算

    本文提出了一种基于切线图像的 360 度光流方法，该方法利用诺蒙尼克投影将 ERP 图像局部转换为透视图像，并通过在立方体映射和正二十面体顶点投影到 ERP 图像中等距采样以增量地优化所估计的 360 度光流场。

    Dec, 2021

  • 球形变压器：将球形信号适应于卷积神经网络

    本文提出基于 Spherical Transformer 的方法，将球面信号转换为能够被标准 CNNs 直接处理的向量，从而使许多经过精心设计的 CNNs 架构可以通过预训练在不同任务和数据集中重复使用，该方法在球形 MNIST 识别，3D 物体分类和全向图像语义分割任务上具有优异性能。

    Jan, 2021

  • 球形视觉 Transformer 用于 360 度视频显著性预测

    提出了一个基于视觉转换器的新型全景视频模型 SalViT360，利用切线图像表示，在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法，并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影，实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。

    Aug, 2023

  • 核变换器网络用于紧凑的球形卷积

    本文介绍了核变换网络，它可以有效地将卷积核从透视图图像转换为 360 度图像的等矩形投影。与现有方法不同，它允许模型转移，并成功地实现了在识别任务上的应用，同时提高了球面卷积的性能。

    Dec, 2018

  • 超球损失的 $360^o$ 表面回归

    本文通过利用现有的 3D 数据集和重新渲染的方式解决 $360^o$ 图像的表面法向数据不足的问题，并通过深度卷积神经网络来实现全景图像的表面估计。

    Sep, 2019

  • 3D 密集预测的切线卷积

    使用新型卷积网络（tangent convolutions）进行语义场景分析，在室内和室外 3D 环境中的实验结果表明，该方法比其他深度网络构成在大型 3D 场景的详细分析中表现更好。

    Jul, 2018

  • 球形卷积神经网络

    该研究介绍了构建球形 CNN 的基本模块，该模型可用于解决分子回归和全球气候建模等领域的问题，并通过实验证明了其计算效率、数值精度和有效性。

    Jan, 2018

  • 跨域 3D 等变图像嵌入

    本文介绍了一种基于球形卷积网络的 2D 图像嵌入学习方法，在不需要特定任务的监督下，利用其等变结构特征解决了姿态估计和新视角合成等应用。

    Dec, 2018

  • 使用球形 CNN 学习 SO (3) 等变表示

    论文提出通过多值球面函数和在球谐域中实现球面上的准确卷积来解决 3D 卷积神经网络中的 3D 旋转等变性问题，进而提供了一种局部对称且通过平滑的频谱实现本地化滤波器的方法，同时还实现了一种用于谱域的新型池化技术，这些操作使得网络不需要过多的容量和数据增强即可在标准检索和分类基准测试中与现有的最先进性能相当。

    Nov, 2017