CVPRMay, 2024

OpenESS: 基于事件的开放语义场景理解

PDF
TL;DR本研究介绍了 OpenESS，利用图像、文本和事件数据领域的信息协同工作，以实现可扩展的事件感知的语义分割任务，通过跨模态适应和语义一致性正则化，得到了优于现有方法的实验结果。
event-based semantic segmentationopenesssynergizecross-modality adaptationannotation-efficient
发现论文，激发创造
  • HPL-ESS：基于混合伪标签的无监督事件驱动语义分割

    提出了一种新型的混合伪标签框架（HPL-ESS），用于减轻噪声伪标签的影响，并通过软原型对齐模块进一步改善目标领域特征的一致性，实验证明该方法在 DSEC-Semantic 数据集上的准确性和平均交并比（mIoU）等性能优于现有的最先进方法。

    Mar, 2024

  • EV-SegNet：事件相机的语义分割

    本研究介绍了一种基于深度学习的事件相机语义分割方法，具有比基于灰度图的方法更好的性能，同时提出了一种新的事件相机数据表示方法，并描述了如何利用自动生成的近似语义分割标签对 DDD17 数据集进行训练，从而应对数据集标签不足的问题。

    Nov, 2018

  • 基于自我监督的事件驱动单目深度估计与跨模态一致性

    提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth，利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程，并且在推理中仅使用事件进行单目深度预测，同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征，并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性，并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。

    Jan, 2024

  • E-CLIP: 通过 CLIP 实现高效标签的事件驱动开放式理解

    提出了一种名为 E-CLIP 的框架，它通过引入新颖的事件编码器和文本编码器，以及原始图像编码器，采用层次三重对比对齐 (HTCA) 模块来优化相关性，实现三种模态之间的知识传递，并在 N-Caltech 数据集上在微调和少样本设置下将性能提升了 3.94% 和 4.62%。此外，E-CLIP 可以灵活地扩展到使用文本或图像查询的事件检索任务。

    Aug, 2023

  • 通过帧与事件流的协作实现可靠的物体跟踪

    本文提出了一个大规模的可见事件跟踪基准测试（VisEvent），由 820 个视频对组成，其中包含以低照度、高速和背景杂波为特点的数据集，将事件流转换为事件图像，并构建了 30 多种基线算法和一个简单但有效的跨模态转换器，以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。

    Aug, 2021

  • 具挑战条件下的跨模态半密集 6 自由度事件相机跟踪

    使用基于事件的相机进行视觉定位，通过几何三维到二维的映射和极性感知的注册方法实现高可靠性和准确性的多模态跟踪，同时引入新的遮挡点筛选策略提高追踪器的速度和鲁棒性。

    Jan, 2024

  • 利用视频级事件语义一致性实现音视频事件定位

    本文提出了一种新颖的视频级语义一致性引导网络，包括事件语义一致性建模模块和两个组件，交叉模态事件表示提取器和内部模态语义一致性增强器，同时增加负样本对过滤损失和平滑损失来进一步提高方法的有效性，以在 AVE 数据集上优于当前最先进的方法，在全面和弱监督设置下均表现出色。

    Oct, 2022

  • 室外场景：面向复杂场景的动态事件分割的普适化

    本文介绍了一种基于事件相机的运动分割方法，可以成功应用于复杂的大规模室外环境，采用创新的分而治之流程结合状态理解模块和光流模块，以及基于 Transformer 的时间关注模块进行运动分割，在经典的室内 EV-IMO 基准测试和基于 DSEC 事件数据集的新生成的动态分割和跟踪基准测试中取得了最新的最佳表现。

    Mar, 2024

  • 学习约束和描述性分割用于子事件检测

    提出了将事件分段作为辅助任务以改善子事件检测学习的方法，并采用整流网络进行约束学习，并将学习到的约束转换为神经模型的损失函数中的正则化项，实验结果表明，该方法在子事件检测中比基准方法分别提高了 2.3％和 2.5％的性能，同时在事件分割预测方面表现良好。

    Sep, 2021

  • 基于上下文线索的语音事件提取

    我们介绍了一种从语音信号中提取事件的新方法 ——Speech Event Extraction (SpeechEE)。我们提出了一种序列到结构生成范例，可以在端到端的方式上从语音信号中生成事件，并利用语音识别转录作为上下文线索的生成方法。实验结果显示，我们的方法在所有数据集上都取得了显著的改进，最大 F1 增益达到了 10.7%。

    Jan, 2024