Jun, 2024

DemosaicFormer：适用于混合 EVS 相机的粗糙到精细的解马赛克网络

PDF
TL;DR通过一个称为 DemosaicFormer 的粗细框架来解决 HybridEVS 传感器缺乏图像信号处理（ISP）管道的挑战，该框架由粗略渲染和像素纠正网络组成，并且采用多尺度门控模块（MSGM）进行特征信息的跨尺度传递。实验结果表明 DemosaicFormer 在 MIPI 2024 挑战赛上在细节处理方面表现最优。
hybrid event-based vision sensorhybridevscoarse-to-fine frameworkdemosaicformermulti-scale gating module
发现论文，激发创造
  • 基于 Swin Transformer 和像素焦点损失的事件相机去马赛克

    利用 Swin-Transformer 和像素聚焦损失函数来处理 RAW 领域中带有缺失像素数值的图像，解决了以往在 RGB 领域中的广泛模型适用性问题，并通过 MIPI Demosaic Challenge 数据集验证了方法的有效性。

    Apr, 2024

  • DeepISP：朝向学习端到端图像处理流程

    DeepISP 是一个全面的端到端深度神经模型，用于照相机图像信号处理（ISP）管道，学习从原始低光马赛克图像到最终具有视觉吸引力的图像的映射，并包括去马赛克、降噪以及色彩校正等低层次任务，以及更高层次的图像调整任务。该解决方案在 PSNR 的客观评估方面实现了最先进的性能，在完整的端到端管道中，相比制造商 ISP，在主观人类评估和由用于评估图像质量的深度模型评分时具有更好的视觉质量。

    Jan, 2018

  • EV-SegNet：事件相机的语义分割

    本研究介绍了一种基于深度学习的事件相机语义分割方法，具有比基于灰度图的方法更好的性能，同时提出了一种新的事件相机数据表示方法，并描述了如何利用自动生成的近似语义分割标签对 DDD17 数据集进行训练，从而应对数据集标签不足的问题。

    Nov, 2018

  • 基于事件的动态运动分割的相互增强框架

    该研究提出了一种新颖的逐步框架，其中动态视觉传感器 (DVS) 的运动估计 (ME) 模块和事件去噪 (ED) 模块被联合优化，并通过自适应聚类和提取时间相关性来消除 DVS 事件中的背景活动噪声 (BA noise)，实现准确的运动估计，从而胜过现有过滤去噪方法。

    Mar, 2022

  • 室外场景：面向复杂场景的动态事件分割的普适化

    本文介绍了一种基于事件相机的运动分割方法，可以成功应用于复杂的大规模室外环境，采用创新的分而治之流程结合状态理解模块和光流模块，以及基于 Transformer 的时间关注模块进行运动分割，在经典的室内 EV-IMO 基准测试和基于 DSEC 事件数据集的新生成的动态分割和跟踪基准测试中取得了最新的最佳表现。

    Mar, 2024

  • E2HQV：通过理论启发的模型辅助深度学习从事件相机生成高质量视频

    提出了一种名为 E2HQV 的新型 E2V 范例，该范例利用了模型辅助的深度学习框架，从基于事件相机的基本成像原理中精心推导出的理论驱动的 E2V 模型，以及为了进一步提高视频帧质量而设计的时间偏移嵌入模块。对真实世界事件相机数据集的综合评估验证了我们的方法的有效性，E2HQV 在一些评估指标上超过了其他最先进的方法超过 40%。

    Jan, 2024

  • 通过原始图像序列的微调实现联合去马赛克和降噪

    本篇论文提出了一种使用卷积神经网络从镶嵌图像直接学习去马赛克，而不需要真实 RGB 数据的方法，并应用于从 RAW 图像中学习联合去马赛克和去噪的技术，进一步证明 Fine-Tuning 带来的优势。

    May, 2019

  • 通过超网络提高基于事件的视频重建的性能

    本研究提出了一种基于动态神经网络架构的事件重建算法 HyperE2VID，使用超网络和动态卷积生成自适应滤波器，并结合上下文融合模块，以从事件体素网格和先前重建的强度图像中获得信息，采用课程式学习策略来训练网络，实验结果表明，HyperE2VID 具有更好的重建质量，参数更少，推理时间更短。

    May, 2023

  • V2CE: 视频到连续事件模拟器

    利用 Dynamic Vision Sensor（DVS）从多个角度进行视频到事件流转换的新方法，并通过严格的验证证明了其当前为最先进技术。

    Sep, 2023

  • 学习从事件中超分辨强度图像

    该研究提出一种基于事件流的端到端神经网络，能够从低空间分辨率的事件摄像头中重建出高分辨率，高动态范围的图像，优于现有同类算法，可通过使用主动传感像素框架或迭代重建图像方法进一步扩展。

    Dec, 2019