文本转事件：有条件文本输入的合成事件相机流

Jun, 2024

文本转事件：有条件文本输入的合成事件相机流

Text-to-Events: Synthetic Event Camera Streams from Conditional Text Input

Joachim Ott, Zuowen Wang, Shih-Chii Liu

TL;DR使用文本生成模型和扩散模型，本研究提出了一种用于创建新的标记事件数据集的方法，通过合成事件帧直接从文本提示生成平滑的移动对象事件流。根据不同文本语句，该模型能够生成真实人体动作的逼真事件序列，其分类准确率在 42% 至 92% 之间，展示出合成事件数据集的能力。

Abstract

event cameras are advantageous for tasks that require vision sensors with low-latency and sparse output responses. However, the development of deep network algorithms using event cameras has been slow because of

event cameras deep network algorithms event datasets text-to-x model synthetic event streams

发现论文，激发创造

视频转事件：为事件相机回收视频数据集

本文提出了一种利用现有的传统相机记录的视频数据生成虚拟事件数据的方法，从而使得神经网络能够使用大量的现有数据集进行训练，从而在物体识别和语义分割领域取得了良好的效果。

Dec, 2019

EventGAN：利用大规模图像数据集改进事件相机

利用卷积神经网络从一对时间图像帧中模拟事件的方法，可克服事件相对于计算机视觉问题的限制。在大规模图像数据集上，通过这种模拟数据，训练用于对象检测和 2D 人体姿势估计的下游网络，能够成功推广到真实事件数据集上。

Dec, 2019

从事件相机到视频：将现代计算机视觉引入事件相机

研究使用成熟的计算机视觉技术对从事件数据中重建的视频进行对象分类和图像重建，从而充分发挥事件相机的优异特性。

Apr, 2019

事件相机数据密集预训练

本文介绍了一种自监督学习框架，用于预训练针对密集预测任务的神经网络，该框架使用事件相机数据进行训练，并在转移学习方面展现出卓越性能。

Nov, 2023

文本驱动的少样本领域自适应视觉融合事件检测

本研究提出一种领域特定的、可从少量标注的图文数据训练的、可在缺乏可视化背景下合成图像的视觉联想事件检测方法，实验结果表明，在 M2E2 基准数据集上，该模型的性能超过了现有的最先进模型达 11 个百分点。

May, 2023

降低事件相机的模拟到现实差距

本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

Mar, 2020

Text2Event: 可控制序列结构生成的端到端事件提取

本文提出了 Text2Event 模型，一种基于序列到结构生成范式的端到端学习模型，通过统一建模和普遍预测不同类型的标签，使用仅有记录级注释的情况下，实现了在监督和迁移学习中获得竞争性表现的事件抽取方法。

Jun, 2021

从事件中学习单目浓密深度

本文介绍了事件相机及其与传统图像传感器的区别，讨论了基于学习的方法如何应用于事件数据，提出了使用循环架构来预测单眼深度的新方法，并在 CARLA 模拟器数据集上进行了预训练并在 MVSEC 上进行了测试，结果表明平均深度误差减小了 50%。

Oct, 2020

事件相机实现高速和高动态范围视频

本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

Jun, 2019

使用 100 万像素事件相机学习物体检测

本文介绍了一种基于事件相机的物体检测任务的解决方案，包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数，这些对于更好的训练结果至关重要，而且在需要高动态范围，低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。

Sep, 2020