- EvGNN:一款用于边缘视觉的事件驱动图神经网络加速器
该研究论文提出了 EvGNN,这是第一个用于边缘视觉的事件驱动 GNN 加速器,通过利用定向动态图、事件队列和新颖的层并行处理方案,实现了边缘视觉的低内存占用、超低延迟和高准确性,从而实现了实时的微秒级分辨率事件驱动视觉。
- TUMTraf 事件:校准和融合产生的道路事件和 RGB 摄像头数据集
事件相机在智能交通系统中具有潜力,可以提供高时空分辨率和动态范围,消除运动模糊,更易于夜间识别物体。然而,事件相机缺乏颜色和纹理,因此需要与传统 rgb 相机进行数据融合和外部校准。本研究通过聚类方法扩展了无标定的校准方法以处理多个移动物体 - 具挑战条件下的跨模态半密集 6 自由度事件相机跟踪
使用基于事件的相机进行视觉定位,通过几何三维到二维的映射和极性感知的注册方法实现高可靠性和准确性的多模态跟踪,同时引入新的遮挡点筛选策略提高追踪器的速度和鲁棒性。
- 基于自监督学习和无关条件的事件与框架关联性研究,实现无监督领域适应
基于事件的相机通过无监督域自适应和自监督学习,凭借帧基相机数据中的注释信息来适应未标注的事件数据,并成功实现知识转移,为利用深度学习进行事件视觉任务提供了有效的解决方案。
- 基于主动 LED 标记的事件相机实时六自由度姿态估计
通过使用主动 LED 标记(ALM)的简单而有效的基于事件的姿态估计系统,本文提出了一种能够在实时操作中以小于 0.5 毫秒的延迟和 3 千赫兹的输出速率运行的快速而准确的姿态估计算法,并通过使用 OptiTrack 系统作为测量基准,在静 - 基于 5 点最小问题求解事件相机的相对运动估计
使用事件相机进行线性运动估计仍然是一个开放的问题,本文针对此问题提出了一种正确的非线性参数化方法,并引入了一种新颖的 5 点求解器来联合估计线参数和线性摄像机速度投影,以对多条线进行融合,从而生成更稳定的相对运动估计,并捕捉到更多的内点。
- 端到端学习的基于事件和图像的视觉里程计
RAMP-VO 是第一个端到端学习的事件 - 图像式视觉里程计系统,它利用了新颖的 RAMP 编码器,比现有异步编码器快 8 倍,准确性高出 20%;RAMP-VO 还采用了一种新颖的姿态预测技术,用于初始化时预测未来的姿态。尽管仅在模拟环 - 事件块跟踪:一种异步实时算法
提出了一种用于实时异步追踪事件斑点的新算法,通过使用原始事件自适应地引入事件斑点的概念来实现,该算法使用最近邻分类器和卡尔曼滤波器实现高精度追踪,并能在具有挑战性的光照条件和高速运动下进行事件斑点形状估计。
- 基于 GNEP 的神经形态成像动态分割与运动估计
论文探讨了事件相机在图像分割和运动估计领域的应用。我们引入了一种基于广义纳什均衡的框架,利用从事件流中得出的时间和空间信息进行分割和速度估计。通过一系列实验展示了该方法的有效性。
- 最佳双赢:用于事件光流估计的混合 SNN-ANN 体系结构
该研究提出了一种新的 SNN-ANN 混合体系结构,该体系结构结合了事件图像和异步计算的优势,用于光流估计,实验结果表明,与以往的混合体系结构,ANN-only 和 SNN-only 体系结构相比,该混合体系结构在准确性和效率方面均有显著提 - 基于事件的视觉测距:通过连续时间高斯过程回归实现全部时间分辨率
本文提出了使用连续时间轨迹估计和带有物理启示的高斯过程回归,直接估计带有个体事件测量时间的完整立体视觉里程计流水线,避免了传统的分组或近似技术,并成功在 MVSEC 数据集上评估和验证,相对误差分别为 7.9e-3 和 5.9e-3,这比现 - 高帧率跟踪的帧 - 事件对齐与融合网络
该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法,并应用 multi-modality alignment 和 f - 通过超网络提高基于事件的视频重建的性能
本研究提出了一种基于动态神经网络架构的事件重建算法 HyperE2VID,使用超网络和动态卷积生成自适应滤波器,并结合上下文融合模块,以从事件体素网格和先前重建的强度图像中获得信息,采用课程式学习策略来训练网络,实验结果表明,HyperE2 - RN-Net: 储水池节点启用的神经形态视觉感知网络
本文提出了一种基于简单卷积层的神经网络架构,结合低成本的动态时间编码水库节点,实现了异步时间特征的高效处理,并通过使用内部动态的自旋电阻器,在非常低的硬件成本下实现了异步时间特征编码。RN-Net 在 DVS128 手势数据集上取得了最高的 - CVPR基于事件的运动去模糊和帧插值的统一
该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架,该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测,后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息,进一步提出了自监督学习框架,以实现对真 - 3D-FlowNet:使用三维表示的事件驱动光流估计
本文提出了一种改进的 2D 编码事件数据的 3D 表达方法,并介绍了 3D-FlowNet 网络体系结构以进行光流估计,并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明,我们的 3D-FlowNet 具有更好的性能。
- 利用帧和事件域联合探测物体轨迹
本研究提出了一种多模态方法,可以在单个目标追踪中融合来自帧域和事件域的视觉线索以提高其性能,并通过一种新颖的设计的跨域注意方案有效地和自适应地结合有意义的信息。我们的方法利用自适应平衡方案,其中可以平衡两种领域的贡献。实验证明,所提出的方法 - 基于时空图割的事件驱动运动分割
本研究开发了一种基于事件的相机的方法,将问题转化为涉及多个运动模型的能量最小化问题,并利用时空图的形式下的输入事件数据的结构迭代地解决事件聚类分配和运动模型拟合两个子问题。实验结果表明,该方法具有很高的灵活性,在不同的场景中能够获取不同运动 - 基于事件的立体视觉里程计
本文提出了一种使用事件相机实现实时的视觉里程计的解决方案,其中包括基于视觉一致性的立体事件数据融合的半密集三维场景重建以及通过选定的地图和事件数据表示解决的姿态恢复问题。该系统成功利用事件相机的优势,在高速和大动态范围场景下进行视觉里程计, - CVPR基于事件的动态模糊矫正学习
本文提出了一种基于事件相机的深度学习方法,通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识,提取边界先验信息,从而达到了恢复运动模糊图像的最佳质量,适用于真实世界的运动模糊问题。