CVPRMar, 2024

EventDance: 无监督的无需源域跨模态适应用于事件驱动的物体识别

PDF
TL;DR通过无标签目标事件数据的提取知识，提出了一种用于无监督源自由跨模态适应问题的新框架 EventDance，包括基于重构的模态桥接模块（RMB）和多表示知识适应模块（MKA），并与源模型相互更新，从而使得 EventDance 能在多个领域进行知识传递和跨模态适应。实验结果表明，EventDance 与利用源数据的先前方法具有相当的性能。
cross-modal adaptationevent-based object recognitionknowledge transferreconstruction-based modality bridgingmulti-representation knowledge adaptation
发现论文，激发创造
  • EvDistill：通过双向重构引导的跨模态知识蒸馏将异步事件转化为最终任务学习

    本文提出了一种名为 EvDistill 的新方法，通过知识蒸馏的方式，从大规模的带标签图像数据中训练的教师网络向未标记和未配对的事件数据（目标模态）学习学生网络；我们的方法通过双向模态重建模块来实现教师和学生之间的知识转移，并且采用亲和图知识蒸馏损失来提高知识蒸馏效果。通过实验，我们证明 EvDistill 相比之前的方法和仅使用事件和 APS 帧的知识蒸馏，取得了更好的语义分割和物体识别结果。

    Nov, 2021

  • 基于自我监督的事件驱动单目深度估计与跨模态一致性

    提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth，利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程，并且在推理中仅使用事件进行单目深度预测，同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征，并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性，并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。

    Jan, 2024

  • 基于自监督学习和无关条件的事件与框架关联性研究，实现无监督领域适应

    基于事件的相机通过无监督域自适应和自监督学习，凭借帧基相机数据中的注释信息来适应未标注的事件数据，并成功实现知识转移，为利用深度学习进行事件视觉任务提供了有效的解决方案。

    Jan, 2024

  • 基于目标的跨模态特征蒸馏的事件型物体检测

    我们提出了一种新颖的知识蒸馏方法，通过使用面向对象的槽注意机制来改善事件相机的实时目标检测性能，减小与 RGB 检测器之间的性能差距。

    Nov, 2023

  • 室外场景：面向复杂场景的动态事件分割的普适化

    本文介绍了一种基于事件相机的运动分割方法，可以成功应用于复杂的大规模室外环境，采用创新的分而治之流程结合状态理解模块和光流模块，以及基于 Transformer 的时间关注模块进行运动分割，在经典的室内 EV-IMO 基准测试和基于 DSEC 事件数据集的新生成的动态分割和跟踪基准测试中取得了最新的最佳表现。

    Mar, 2024

  • SUMMIT: 单模型无源适应到多模态目标

    我们提出了一种通过自动选择两种互补的交叉模态伪标签融合方法（一致性过滤和熵加权），来解决在没有访问原始源数据集的情况下，将在单模数据上独立训练的一组模型调整到由未标记的多模数据组成的目标领域的问题。

    Aug, 2023

  • 事件相机数据密集预训练

    本文介绍了一种自监督学习框架，用于预训练针对密集预测任务的神经网络，该框架使用事件相机数据进行训练，并在转移学习方面展现出卓越性能。

    Nov, 2023

  • 通过帧与事件流的协作实现可靠的物体跟踪

    本文提出了一个大规模的可见事件跟踪基准测试（VisEvent），由 820 个视频对组成，其中包含以低照度、高速和背景杂波为特点的数据集，将事件流转换为事件图像，并构建了 30 多种基线算法和一个简单但有效的跨模态转换器，以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。

    Aug, 2021

  • 具挑战条件下的跨模态半密集 6 自由度事件相机跟踪

    使用基于事件的相机进行视觉定位，通过几何三维到二维的映射和极性感知的注册方法实现高可靠性和准确性的多模态跟踪，同时引入新的遮挡点筛选策略提高追踪器的速度和鲁棒性。

    Jan, 2024

  • 光流、深度和自运动的无监督事件学习

    提出了一种基于事件相机的无监督学习框架，通过事件流中的运动信息来学习运动，该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数，并使用该框架训练了两个网络，一个用于预测光流，另一个用于预测自运动和深度。最后，使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。

    Dec, 2018