基于自监督学习和无关条件的事件与框架关联性研究,实现无监督领域适应
利用卷积神经网络从一对时间图像帧中模拟事件的方法,可克服事件相对于计算机视觉问题的限制。在大规模图像数据集上,通过这种模拟数据,训练用于对象检测和 2D 人体姿势估计的下游网络,能够成功推广到真实事件数据集上。
Dec, 2019
我们提出了一种新的数据高效的基于体素的自监督学习方法,克服了以往方法的局限性,该方法通过预训练克服了通过将事件序列转换为 2D 图像以利用预训练图像模型,或直接使用成对图像数据进行知识蒸馏以增强事件流学习的方法所带来的对时间信息的牺牲。我们的自监督学习方法不依赖于成对的 RGB 图像,且能够在多个尺度上同时探索空间和时间线索,展现出卓越的泛化性能,在各种任务中显著改善参数更少、计算成本更低。
Mar, 2024
通过在事件数据和光流信息上利用自监督变换器,我们提出的方法克服了事件驱动运动分割的限制,消除了人工注释的需求,并减少了参数调整问题,实现了在多个数据集上与现有方法相比的最新性能,适用于高动态航空平台上的高清事件摄像头在城市环境中处理各种类型的运动并处理任意数量的移动对象。
May, 2024
本研究提出了一种多模态方法,可以在单个目标追踪中融合来自帧域和事件域的视觉线索以提高其性能,并通过一种新颖的设计的跨域注意方案有效地和自适应地结合有意义的信息。我们的方法利用自适应平衡方案,其中可以平衡两种领域的贡献。实验证明,所提出的方法的效果比最先进的基于帧的跟踪方法至少提高了 10.4%和 11.9%,并且有效性得到了充分的验证。
Sep, 2021
通过特征水平领域自适应方法,该文提供一种学习判别式视频帧表示的方法,利用大规模无标签的视频数据,使得模型可以转移从大规模标记的静态图像中获得的判别性知识。实验表明,该方法可大幅度提升视频人脸识别性能,达到最先进的准确性。
Aug, 2017
提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth,利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程,并且在推理中仅使用事件进行单目深度预测,同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征,并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性,并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。
Jan, 2024
通过无标签目标事件数据的提取知识,提出了一种用于无监督源自由跨模态适应问题的新框架 EventDance,包括基于重构的模态桥接模块(RMB)和多表示知识适应模块(MKA),并与源模型相互更新,从而使得 EventDance 能在多个领域进行知识传递和跨模态适应。实验结果表明,EventDance 与利用源数据的先前方法具有相当的性能。
Mar, 2024
本文介绍了一种新的基于自监督深度学习的光流估计方法 EV-FlowNet,用于事件驱动相机。该方法不仅可以准确地估计密集光流,还为其他自监督方法到事件驱动领域提供了转移框架。
Feb, 2018
该论文提出了一种背景无关框架来解决视频中异常事件检测的问题,该框架由对象检测器、外观和运动自编码器以及二进制分类器组成。通过对外部领域伪异常示例进行梯度上升和对外观和运动特征进行区分,并对四个基准数据集进行评估,该框架在所有数据集上均表现出优良性能。
Aug, 2020