Jul, 2024

使用分层特征细化网络来融合事件和框架用于目标检测

HTML
PDF
TL;DR本文提出了一种新颖的分层特征细化网络，用于事件-帧融合，核心概念是设计了粗到细的融合模块，称为跨模态自适应特征细化（CAFR）模块。实验证明，该方法在高分辨率数据集上胜过现有技术8.0%，同时，在引入15种不同的图像损坏类型时具有显著更好的鲁棒性（69.5%对比38.7%）。
发现论文，激发创造
  • 联合锚点特征优化：用于图像和视频实时准确物体检测

    本研究提出了一种基于双重细化机制的目标检测方法，在静态和时间景观中能够快速准确地检测对象。通过使用新型anchor-offset检测和双重细化网络（DRNet），TRNet和TDRNet，实现了对静态和时间目标的高性能检测，并应用于水下目标检测和抓取的自主系统中。

    Jul, 2018

  • 基于事件的异步稀疏卷积网络

    本研究提出了一种通用的框架，将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型，以便直接利用事件数据的本质异步性和稀疏性，并在目标检测和识别任务中实现了高达20倍计算复杂度的降低和24%的精度提高。

    Mar, 2020

  • 使用100万像素事件相机学习物体检测

    本文介绍了一种基于事件相机的物体检测任务的解决方案，包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数，这些对于更好的训练结果至关重要，而且在需要高动态范围，低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。

    Sep, 2020

  • 利用帧和事件域联合探测物体轨迹

    本研究提出了一种多模态方法，可以在单个目标追踪中融合来自帧域和事件域的视觉线索以提高其性能，并通过一种新颖的设计的跨域注意方案有效地和自适应地结合有意义的信息。我们的方法利用自适应平衡方案，其中可以平衡两种领域的贡献。实验证明，所提出的方法的效果比最先进的基于帧的跟踪方法至少提高了10.4％和11.9％，并且有效性得到了充分的验证。

    Sep, 2021

  • 基于RGB-Event融合的可变光照下的交通物体检测增强

    针对传统基于帧的摄像机由于动态范围受限而导致的信息丢失，我们引入了生物启发式事件摄像机，并提出了一种新颖的结构感知融合网络（SFNet），通过跨模态融合从事件流中提取清晰和完整的物体结构，以补偿图像中的信息丢失，从而使网络能够获得对光照鲁棒的交通物体检测表示。

    Nov, 2023

  • 基于目标的跨模态特征蒸馏的事件型物体检测

    我们提出了一种新颖的知识蒸馏方法，通过使用面向对象的槽注意机制来改善事件相机的实时目标检测性能，减小与RGB检测器之间的性能差距。

    Nov, 2023

  • STF：时空融合模块提升视频目标检测

    通过利用视频中连续帧的冗余和相关的互补信息，我们提出了一个时空融合框架，其中包括多帧和单帧关注模块，以及可学习地合并特征图以改进物体检测性能的双帧融合模块。实验证明，该融合模块相比基线物体检测器能够提高检测性能。

    Feb, 2024

  • 场景自适应稀疏Transformer用于事件驱动的目标检测

    为了克服传统Transformer方法在事件相机物体检测任务中的高计算成本问题，本研究提出了一种适应场景的稀疏Transformer模型，通过优化计算效率和性能表现，实现了对重要物体的集中关注和动态稀疏程度的优化，从而在性能和效率上均超过密集网络和其他稀疏网络。

    Apr, 2024

  • 事件辅助的低光视频目标分割

    该研究介绍了一种创新的框架，针对低光条件下的视频物体分割，利用事件相机数据提高分割准确性。该方法包括自适应跨模态融合模块（ACMF）和事件引导的内存匹配模块（EGMM），并创建了一个合成的LLE-DAVIS数据集和一个真实世界的LLE-VOS数据集，实验证实了该方法在低光照情况下的有效性。

    Apr, 2024

  • 重新思考视频的通用事件驱动表示

    本研究针对传统视频帧结构的局限性，提出了一种新的视频表示框架ADΔER，能够将不同类型的帧和事件摄像头数据转换为统一的事件基础表示。这种方法不仅改善了视频应用的速度和压缩性能，还为计算机视觉提供了一种新的控制机制，可能在大规模视频监控和资源受限的传感场景中具备重要的应用价值。

    Aug, 2024