Mar, 2024

数据高效的事件相机预训练通过解耦蒙版建模

PDF
TL;DR我们提出了一种新的数据高效的基于体素的自监督学习方法，克服了以往方法的局限性，该方法通过预训练克服了通过将事件序列转换为 2D 图像以利用预训练图像模型，或直接使用成对图像数据进行知识蒸馏以增强事件流学习的方法所带来的对时间信息的牺牲。我们的自监督学习方法不依赖于成对的 RGB 图像，且能够在多个尺度上同时探索空间和时间线索，展现出卓越的泛化性能，在各种任务中显著改善参数更少、计算成本更低。
发现论文，激发创造
  • 事件相机数据密集预训练

    本文介绍了一种自监督学习框架，用于预训练针对密集预测任务的神经网络，该框架使用事件相机数据进行训练，并在转移学习方面展现出卓越性能。

    Nov, 2023

  • 自我监督对比预训练多元点过程

    使用 Transformer 编码器的自监督学习方法来处理多元事件流数据，在预训练阶段引入了新的策略，通过随机遮盖事件时刻和插入不存在事件的时刻来扩展遮盖的效果，通过对比真实事件和模拟的不存在事件来提高下游任务的性能，实验证明相较于现有模型，该方法在下一个事件预测任务上能够提升高达 20% 的性能。

    Feb, 2024

  • 基于自监督学习和无关条件的事件与框架关联性研究，实现无监督领域适应

    基于事件的相机通过无监督域自适应和自监督学习，凭借帧基相机数据中的注释信息来适应未标注的事件数据，并成功实现知识转移，为利用深度学习进行事件视觉任务提供了有效的解决方案。

    Jan, 2024

  • VIMPAC: 基于掩码预测和对比学习的视频预训练

    该研究基于预测任务以及块状掩码策略，提出一种输入处理策略及无数据扩充方法，以达到在 SSV2、Diving48 等视频理解数据集上实现最先进效果的目的，并对模型伸缩性和预训练方法进行了详细分析。

    Jun, 2021

  • 基于自我监督的事件驱动单目深度估计与跨模态一致性

    提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth，利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程，并且在推理中仅使用事件进行单目深度预测，同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征，并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性，并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。

    Jan, 2024

  • 电影理解的分层自监督表征学习

    本文介绍了一种面向电影理解的自监督视频学习方法，采用分层的预训练策略，在低层进行对比学习，高层则采用事件遮罩预测任务来预训练视频上下文模型，并在 VidSitu 基准测试中表现出更好的性能。同时，在 LVU 任务中，我们还展示了上下文化事件特征的有效性。

    Apr, 2022

  • EventGAN：利用大规模图像数据集改进事件相机

    利用卷积神经网络从一对时间图像帧中模拟事件的方法，可克服事件相对于计算机视觉问题的限制。在大规模图像数据集上，通过这种模拟数据，训练用于对象检测和 2D 人体姿势估计的下游网络，能够成功推广到真实事件数据集上。

    Dec, 2019

  • 无监督神经形态空中监视运动分割

    通过在事件数据和光流信息上利用自监督变换器，我们提出的方法克服了事件驱动运动分割的限制，消除了人工注释的需求，并减少了参数调整问题，实现了在多个数据集上与现有方法相比的最新性能，适用于高动态航空平台上的高清事件摄像头在城市环境中处理各种类型的运动并处理任意数量的移动对象。

    May, 2024

  • 回归事件基础：通过光度恒定实现事件相机图像重建的自我监督学习

    该论文通过自监督学习，将基于事件相机的图像强度重构问题与光流估计相结合，避免了需要真实数据的问题，并提出了一种轻量化的神经网络，以实现快速推理和高精度的光流估计。

    Sep, 2020

  • M$^{3}$3D：使用多模态掩蔽自编码器学习 2D 图像和视频的 3D 先验

    提出了一种名为 M$^{3}$3D 的新的预训练策略，该策略基于基于多模态遮蔽自编码器，可以利用三维先验和学习的跨模态表示，以增强颜色 - 深度数据之间的对应关系，并能在各种下游任务中提高性能。

    Sep, 2023