May, 2024

基于事件焦点堆叠的单目深度学习

PDF
TL;DR本研究提出了 EDFF 网络来估计基于事件相机的稀疏深度，通过利用事件体素网格对强度变化信息进行编码，并将事件时间表面投影到深度领域中以保留每个像素的焦距信息。同时，提出了基于焦距的跨模态注意力模块和多级深度融合块，用于融合上述信息和生成最终输出，通过大量实验证明了我们的方法优于现有最先进的方法。
depth from focusevent cameraedff networkfocal-distance-guided cross-modal attention modulemulti-level depth fusion block
发现论文，激发创造
  • 从事件中学习单目浓密深度

    本文介绍了事件相机及其与传统图像传感器的区别，讨论了基于学习的方法如何应用于事件数据，提出了使用循环架构来预测单眼深度的新方法，并在 CARLA 模拟器数据集上进行了预训练并在 MVSEC 上进行了测试，结果表明平均深度误差减小了 50%。

    Oct, 2020

  • 基于自我监督的事件驱动单目深度估计与跨模态一致性

    提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth，利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程，并且在推理中仅使用事件进行单目深度预测，同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征，并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性，并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。

    Jan, 2024

  • 深度自聚焦

    本文提出了一种端到端的学习方法，称为 “Deep Depth From Focus (DDFF)”，该方法基于深度神经网络，利用配备了 co - 校准的 RGB-D 传感器的光场相机进行数据采集，数据集比既有基准数据集大 25 倍，可以用于解决计算机视觉中的 “Depth from focus (DFF)” 逆问题，实验结果表明，所提出的方法 “DDFFNet” 在所有场景中都取得了最先进的性能。

    Apr, 2017

  • 差分聚焦体的深度自聚焦技术

    本文提出了一种基于卷积神经网络的深度学习方法，使用微调的焦距图像识别出最佳焦点像素并通过焦距估计推断深度，通过深度差分聚合光学信息，利用概率回归处理稀疏采样的数据集，对目标的深度估计及预测提供不确定性。实验结果表明，该模型在多个数据集上均能取得最佳性能，具有很好的普适性和快速性能。

    Dec, 2021

  • 单张图像深度估计训练

    使用深度焦点提示为基础，基于点扩散函数卷积层的无监督学习深度估计方法能在多个数据集上优于其他无监督方法和与 KITTI 和 Make3D 数据集中的监督方法效果相当，并且与数据集无关.

    Jan, 2020

  • FocDepthFormer：基于 Transformer 与 LSTM 的焦点深度估计

    使用 FocDepthFormer，一种基于 Transformer 的网络，通过 LSTM 模块和 CNN 解码器组成，能够从焦点 / 非焦点图像堆栈中推断深度，并在各种度的焦点 / 非焦点情况下直接捕获低级特征，通过 LSTM 与大量单眼 RGB 深度估计数据进行预训练，在各个基准数据集上表现优于现有模型。

    Oct, 2023

  • SRFNet：基于空间可靠性导向的帧与事件融合的细粒度结构单目深度估计

    我们提出了一种新颖的 “空间可靠性导向融合网络（SRFNet）”，可以在白天和夜晚都能以细粒度的结构估计深度。我们的方法包括两个关键技术组件：一是基于注意力的交互式融合模块（AIF），应用事件和帧的空间先验作为初始掩码，并学习共识区域以引导跨模态特征融合；二是可靠性导向的深度细化模块（RDR），基于融合特征和掩码估计细粒度结构的密集深度。我们在合成和实际数据集上评估了我们方法的有效性，并表明，即使没有预训练，我们的方法在夜景场景中的性能也超过了以前的方法，如 RAMNet。

    Sep, 2023

  • 光流、深度和自运动的无监督事件学习

    提出了一种基于事件相机的无监督学习框架，通过事件流中的运动信息来学习运动，该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数，并使用该框架训练了两个网络，一个用于预测光流，另一个用于预测自运动和深度。最后，使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。

    Dec, 2018

  • 通过全焦深度监督桥接无监督和有监督的焦深度

    本文提出了一种方法，可以从具有不同对焦位置的图像集中估计深度图和全焦图像，并设计了一种共享网络结构来利用深度估计和全焦图像的关系，通过有监督学习和无监督学习两种方式进行训练，并在实验证明该方法具有比现有方法更高的定量和定性性能以及更高的推理效率。

    Aug, 2021

  • 基于结构注意力的卷积神经场用于单目深度估计

    本文提出一种新的单目深度估计方法，使用带有结构化注意力模型的条件随机场来融合来自前端卷积神经网络不同层次的多尺度信息，并将其无缝集成到整个架构的端到端训练中， 在 KITTI 基准测试中排名竞争对手，在 NYU Depth V2 数据集上优于现有技术。

    Mar, 2018