CVPRNov, 2021

EvDistill：通过双向重构引导的跨模态知识蒸馏将异步事件转化为最终任务学习

PDF
TL;DR本文提出了一种名为 EvDistill 的新方法，通过知识蒸馏的方式，从大规模的带标签图像数据中训练的教师网络向未标记和未配对的事件数据（目标模态）学习学生网络；我们的方法通过双向模态重建模块来实现教师和学生之间的知识转移，并且采用亲和图知识蒸馏损失来提高知识蒸馏效果。通过实验，我们证明 EvDistill 相比之前的方法和仅使用事件和 APS 帧的知识蒸馏，取得了更好的语义分割和物体识别结果。
event camerasevent-based modelsknowledge distillationunlabeled datamodality reconstruction
发现论文，激发创造
  • 基于目标的跨模态特征蒸馏的事件型物体检测

    我们提出了一种新颖的知识蒸馏方法，通过使用面向对象的槽注意机制来改善事件相机的实时目标检测性能，减小与 RGB 检测器之间的性能差距。

    Nov, 2023

  • EventDance: 无监督的无需源域跨模态适应用于事件驱动的物体识别

    通过无标签目标事件数据的提取知识，提出了一种用于无监督源自由跨模态适应问题的新框架 EventDance，包括基于重构的模态桥接模块（RMB）和多表示知识适应模块（MKA），并与源模型相互更新，从而使得 EventDance 能在多个领域进行知识传递和跨模态适应。实验结果表明，EventDance 与利用源数据的先前方法具有相当的性能。

    Mar, 2024

  • 可插拔事件图像翻译的双重迁移学习用于基于事件的终极任务预测

    本文提出了一种名为双重转移学习的框架，包括事件到终端任务学习分支、事件到图像翻译分支和转移学习模块，可有效提高像语义分割和深度估计等端任务的性能。

    Sep, 2021

  • 基于自我监督的事件驱动单目深度估计与跨模态一致性

    提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth，利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程，并且在推理中仅使用事件进行单目深度预测，同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征，并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性，并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。

    Jan, 2024

  • 跨模态知识蒸馏增强的多模态表征学习

    本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

    Jun, 2023

  • 用于高效声音事件检测的双重知识蒸馏

    我们提出了一种名为双重知识蒸馏的方法来开发高效的声音事件检测（SED）系统，其中包括了时间平均知识蒸馏（TAKD）和嵌入增强特征蒸馏（EEFD），该方法在仅有基准模型参数的三分之一的情况下，在 DCASE 2023 Task 4A 公共评估数据集上展示出卓越的性能，突出了双重知识蒸馏对于紧凑型 SED 系统的重要性，这对于边缘设备非常理想。

    Feb, 2024

  • 可学习的跨模态知识蒸馏在多模态学习中的应用与缺失模态

    本文提出了一种可学习的跨模态知识蒸馏（LCKD）模型，通过从最佳性能模态中提取有用信息，自适应地识别重要模态并将知识蒸馏给其他模态，从而解决了缺失模态问题，实验证明 LCKD 在肿瘤分割中的表现超过其他方法，分割 Dice 分数提高了 3.61％、5.99％和 3.76％。

    Oct, 2023

  • 从事件中学习单目浓密深度

    本文介绍了事件相机及其与传统图像传感器的区别，讨论了基于学习的方法如何应用于事件数据，提出了使用循环架构来预测单眼深度的新方法，并在 CARLA 模拟器数据集上进行了预训练并在 MVSEC 上进行了测试，结果表明平均深度误差减小了 50%。

    Oct, 2020

  • 跨模态知识蒸馏用于动作识别

    研究如何将针对 RGB 视频训练的行动识别网络适应于识别 3D 人体姿势序列这样的另一个模态，提出了一种基于互相学习的小型学生网络集成和交叉模态知识蒸馏的方法，使得几乎达到了使用完全监督训练的学生网络的精度。

    Oct, 2019

  • 跨模态、任务和阶段的知识蒸馏：用于多摄像头三维物体检测的方法

    本文提出 X^3KD，一种基于多模态、多任务、多阶段的知识蒸馏框架，通过跨任务蒸馏、跨模态特征蒸馏、对抗训练以及跨模态输出蒸馏等方式，改进了基于多摄像头图像的 3D 物体检测模型性能，最终 X^3KD 模型在 nuScenes 和 Waymo 数据集上取得了最新的最佳性能表现，并且具有推广到基于雷达的 3D 物体检测的能力。

    Mar, 2023