CVPRMar, 2024

基于点的简单有效网络用于事件相机 6 自由度位姿重定位

PDF
TL;DR本文介绍了一种简单而有效的基于点云的网络 PEPNet，用于回归六自由度事件摄像机姿态，通过层次结构提取空间和隐含的时间特征，通过 A-Bi-LSTM 提取显式的时间特征，从而在室内和室外数据集上取得了最先进的性能，同时具备轻量级设计版本 PEPNet_tiny 效果与最先进技术相媲美，仅使用 0.5% 的参数。
event camerascamera pose relocalizationpepnetpoint-based network6-dofs
发现论文，激发创造
  • PoseNet：一种用于实时六自由度相机重定位的卷积网络

    本文提出了一个稳健而实时的单目六自由度重定位系统，使用卷积神经网络训练完成，无需其他工程或优化过程。

    May, 2015

  • FAPNet：一种高效的频率自适应基于点的眼动追踪器

    利用点云作为事件表示来利用眼动任务中事件的高时间分辨率和稀疏特性，重新思考基于点的架构 PEPNet 并引入长期样本关系预处理的创新设计 FAPNet，以实现自适应跟踪和利用样本之间的时间相关性的频适应机制。在 SEET 合成数据集上，FAPNet 可以以仅消耗 PEPNet 计算资源的 10％的状态实现，并且其计算需求不依赖于传感器的空间分辨率，提高其在资源有限的边缘设备上的适用性。

    Jun, 2024

  • 重新思考面向事件相机的高效有效的基于点的网络：EventMamba

    EventMamba 是一个高效和有效的点云框架，通过优化网络结构实现了对时间信息的提取，并在分类和回归任务中表现出与基于帧的方法相媲美的结果，同时具有轻量级设计原则，实现了卓越的效率和效果。

    May, 2024

  • E2PNet：事件到点云的时空表示学习的配准

    2D-3D registration for event cameras is studied using a learning-based method called E2PNet, which employs a novel feature representation network called EP2T. E2PNet outperforms hand-crafted and other learning-based methods, and demonstrates potential for various vision tasks.

    Nov, 2023

  • 如何提高基于卷积神经网络的六自由度相机姿态估计

    研究使用卷积神经网络 (CNNs) 和传递学习 (transfer learning) 进行 6 自由度 (6-DoF) 相机位姿估计，通过对数据集特征的研究改进 PoseNet 性能，尤其强调视野对图像分辨率的重要性，给出数据增强方案以减少过拟合，对 LSTM 单元的效果进行了研究，并最终结合这些修改方案优化了单目 CNN 相机姿态估计的性能。

    Sep, 2019

  • 一种基于事件的算法，用于同时跟踪和绘制 6 自由度相机姿态

    本文介绍了使用适应性选择事件窗口中的信息形成运动补偿图像来重建场景以及估计相机的 6-DOF 姿态，并提出了一个惯性版本的仅事件流水线，以评估其性能。通过对两个公开事件数据集的序列的不同配置的结果与基准进行比较，本文证明了所提出的事件惯性流水线可以产生相当或更准确的结果，前提是地图估计可靠。

    Jan, 2023

  • 降低事件相机的模拟到现实差距

    本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

    Mar, 2020

  • TTPOINT：一种用于事件摄像机轻量级行为识别的张量化点云网络

    使用 TTPOINT 轻量且通用的点云网络，在运动识别任务中相比传统基于帧的方法只使用了 1.5% 的计算资源，并通过层次结构抽象本地和全局几何特征。同时，通过使用张量列分解方法，即使在对参数进行 55% 的压缩时，也能保持了 TTPOINT 的高准确性。

    Aug, 2023

  • SpikePoint: 基于点的有效脉冲神经网络用于事件相机的行为识别

    使用 SpikePoint 结构，利用事件相机与脉冲神经网络相结合的高效能力，在超低功耗应用场景中实现了优秀的动作识别性能。

    Oct, 2023

  • 一种基于事件相机的在线眼动跟踪的轻量级时空网络

    基于事件的数据在边缘计算环境中十分常见，我们提出了一种因果时空卷积网络，以实现与这些数据的接口和利用丰富的时态特征，并通过简单的架构和操作（卷积、ReLU 激活）及在线推断效率配置、通过规范化训练实现超过 90% 的激活稀疏度，从而在基于事件的处理器上实现极大的效率增益。此外，我们还提出了一种直接作用于事件的通用仿射增强策略，缓解了基于事件的系统中数据集稀缺的问题。我们将该模型应用于 AIS 2024 基于事件的视觉注视挑战，并在 Kaggle 私人测试集上达到了 0.9916 的 P10 准确率。

    Apr, 2024