Apr, 2024

迈向高效的视觉陀螺仪：用于球面相机应用的球面矩、谐波滤波和遮罩技术

PDF
TL;DR提出了一种新颖的视觉陀螺仪方法，结合了分析方法和神经网络方法，从球面图像中提供更高效准确的旋转估计，实验结果表明该方法在准确度上具有卓越性能并强调了融合机器学习以优化分析方案的优势。
visual gyroscopeomnidirectional camerasrotation estimationspherical imagesmachine learning
发现论文，激发创造
  • 视觉陀螺仪：深度学习特征与直接对齐相结合的全景稳定化

    通过使用全景图像提出一种基于视觉陀螺仪的新技术，结合三种不同方法准确估计相机的姿态，并在不同航空器上对其进行定量和定性验证。

    Feb, 2024

  • 学习球面卷积以从 360° 图像中快速提取特征

    该研究提出了一种基于球面卷积网络的方法来处理 360° 全景图像，该方法可以有效地提取特征并利用预先训练的卷积神经网络，从而大大降低了计算量和提高了准确性。

    Aug, 2017

  • 球形卷积神经网络

    该研究介绍了构建球形 CNN 的基本模块，该模型可用于解决分子回归和全球气候建模等领域的问题，并通过实验证明了其计算效率、数值精度和有效性。

    Jan, 2018

  • MatryODShka: 使用多球体图像实时生成 6 自由度视图合成视频

    本文介绍了一种将立体 360 度（全向立体）成像转换为分层式多球形图像表示的方法，用于六自由度（6DoF）渲染。该方法利用多摄像机系统捕获立体 360 度图像，同时解决其中缺少动态场景的运动视差和正确各项异性差的问题，实现舒适的 VR 体验。

    Aug, 2020

  • 利用视点引导的球面映射改善语义对应

    自监督表征学习在提取图像特征方面取得了近期的进展，但在面对对称性和重复部分等具有挑战性的图像特征时仍存在限制。为了解决这些限制，本文提出一种新的语义对应估计方法，将有区分度的自监督特征与三维理解相结合，通过弱几何球面先验进行补充。与更复杂的三维流程相比，我们的模型仅需要弱视点信息，我们球面表示的简单性使我们能够在训练过程中注入信息丰富的几何先验。我们提出了一个更好地考虑重复部分和对称性误差的新评估指标。我们在具有挑战性的 SPair-71k 数据集上呈现结果，表明我们的方法能够在许多物体类别上区分对称视图和重复部分，并且还证明我们能够推广到 AwA 数据集上的未见类别。

    Dec, 2023

  • 基于陀螺仪的神经网络单图像去模糊

    本研究通过利用陀螺传感器解决图像去模糊问题，提出了一种名为 GyroDeblurNet 的新型单幅图像去模糊方法。该方法有效利用陀螺传感器提供的有关曝光期间相机运动的宝贵信息，以显著提高去模糊质量。通过引入陀螺细化模块和陀螺去模糊模块对陀螺误差进行处理，并通过模糊信息进一步补偿陀螺误差，我们的方法能够有效利用陀螺数据实现最先进的去模糊效果。

    Apr, 2024

  • 陀螺仪辅助运动去模糊网络

    使用惯性测量单元数据，本文提出了一个简单而高效的框架来合成和恢复运动模糊图像，包括训练三元组的生成策略和用于恢复模糊图像的陀螺仪辅助运动去模糊网络。通过全面实验证明了该框架的优点：我们的合成和真实世界模糊轨迹之间仅有两个像素的误差，对于峰值信噪比，与最先进的去模糊方法 MIMO 相比，有明显的改善（约提高 33.17%）。

    Feb, 2024

  • 用于自监督 360 深度估计的球面视角合成

    本文探讨了自我监督的球面视图综合方法对于学习单目 360 度深度的可行性，并利用几何形式提出了水平和垂直基线、三目的结果。同时，本研究还展示了在等距矩形域内应用传统 CNN 的表现更佳的方法，并利用地面真实深度数据进行比较，结果表明①替代性研究方向可能更适合实现更高质量的深度感知。

    Sep, 2019

  • 拥挤场景下鲁棒的帧间相机旋转估计

    我们提出了一种从手持单目视频中估计拥挤真实场景中相机旋转的方法，通过在 SO (3) 上引入 Hough 变换，可在光流中高效而鲁棒地找到与之最相符的相机旋转，且在速度上比其他方法更准确。

    Sep, 2023

  • 从自由旋转的三维刚体的图像中学习可解释的动态学

    本文提出一种物理知识指导的神经网络模型，能够从图像序列中估算预测旋转刚体的 3D 动力学，多阶段预测管道映射图像到与 SO (3) 同胚的潜在表示，通过学习得到的哈密顿表示，利用哈密顿运动方程预测未来的潜在状态。

    Sep, 2022