ICCVAug, 2023

基于无标签事件的目标识别：通过与事件图像重建的联合学习

PDF
TL;DR该研究论文探索了无标签的事件感知物体识别，提出了一种结合图像重构和对象识别的方法，通过 Contrastive Language-Image Pre-training (CLIP) 从事件中重构图像，并借助分类信息提升两者之间的关联性，最后通过无配对图像的基于原型的方法增强预测准确度和重构质量，实现了零样本物体识别。
label-free event-based object recognitionimage reconstructioncontrastive language-image pre-training (clip)category-guided attraction losszero-shot object recognition
发现论文，激发创造
  • E-CLIP: 通过 CLIP 实现高效标签的事件驱动开放式理解

    提出了一种名为 E-CLIP 的框架，它通过引入新颖的事件编码器和文本编码器，以及原始图像编码器，采用层次三重对比对齐 (HTCA) 模块来优化相关性，实现三种模态之间的知识传递，并在 N-Caltech 数据集上在微调和少样本设置下将性能提升了 3.94% 和 4.62%。此外，E-CLIP 可以灵活地扩展到使用文本或图像查询的事件检索任务。

    Aug, 2023

  • EventCLIP：针对事件的对象识别的 CLIP 适应

    本研究提出了一种新的方法：EventCLIP，利用 2D zero-shot recognition 和 few-shot learning 来识别 event camera data，并且使用 temporal feature adapter 来提高模型性能。通过实验证明，EventCLIP 在不同数据集上表现出 state-of-the-art performance，并且能够提高现有的 event-based classifiers 对数据变化的鲁棒性。

    Jun, 2023

  • CLIP-Event: 连接文本和图像的事件结构

    本文提出了一种对视觉语言预训练模型进行对事件及相关参数角色理解的对比学习框架，并结合文本信息提取技术，利用多个提示函数来构造事件结构，设计基于最优传输的事件图形对齐损失来捕获事件参数结构，通过无监督学习进行预训练，并在零样本的情况下取得了优秀的性能。

    Jan, 2022

  • RegionCLIP: 基于区域的语言 - 图像预训练

    RegionCLIP 是一种新的方法，扩展了 CLIP 模型的范围，使其可以学习区域级别的视觉表征，从而实现图像区域和文本概念之间的细粒度对齐，进而在目标检测领域表现出良好的性能。

    Dec, 2021

  • 基于大型视觉 - 语言模型的语义感知框架 - 事件融合式模式识别

    整合 RGB 帧、事件流和语义标签的模式识别框架，利用预训练的大规模视觉 - 语言模型（CLIP）提取特征，并通过多模态 Transformer 网络集成这三种形式的特征，通过实验证明了 SAFE 模型的有效性。

    Nov, 2023

  • CLIPose: 预训练视觉语言知识下的类别级物体姿态估计

    通过利用不同模态的丰富语义知识，以及多模态对齐和增强的方式，CLIPose 提出了一种新颖的 6D 姿态框架，以更好地实现对目标类别信息的学习和姿态估计，并在两个主流基准数据集上取得了最先进的性能。

    Feb, 2024

  • EventGAN：利用大规模图像数据集改进事件相机

    利用卷积神经网络从一对时间图像帧中模拟事件的方法，可克服事件相对于计算机视觉问题的限制。在大规模图像数据集上，通过这种模拟数据，训练用于对象检测和 2D 人体姿势估计的下游网络，能够成功推广到真实事件数据集上。

    Dec, 2019

  • 事件关系抽取的联合约束学习

    提出了一种联合约束学习框架来对事件 - 事件关系进行建模，这种方法有效弥补了联合标记数据的缺失，并在时间关系提取和事件层级构建方面优于现有的方法，同时也可在外部语料库上诱导事件复合体的有效性。

    Oct, 2020

  • CLIP-GCD: 简单的语言指导通用类别发现

    本文通过引入多模态模型 (CLIP)，提出了一种基于文本检索的机制，通过挖掘带标签和无标签文本库中的文本描述来实现联合图像 + 文本半监督聚类，该方法在多个数据集上得到了最优结果。

    May, 2023

  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016