Jun, 2024

高效的事件流超分辨率与递归多支融合

PDF
TL;DR我们提出了一种高效的递归多分支信息融合网络（RMFNet），用于处理事件流中的正负事件，实现互补信息提取和改善效果。经实验证实，我们的方法在合成和真实数据集上分别取得了 17% 和 31% 的改进，并且加速了 2.3 倍。此外，我们还在物体识别和视频重建等应用中验证了我们的方法，取得了优秀的结果。
event stream super-resolutioninformation fusion networkpositive and negative eventsfeature fusion modulesfeature exchange modules
发现论文，激发创造
  • 事件流超分辨率的双边事件挖掘与补充

    本研究提出了一种双边事件挖掘和互补网络（BMCNet），旨在完全发挥每个事件的潜力，同时捕捉共享信息以相互补充，通过两流网络实现对每种类型事件的全面挖掘，并通过双边信息交换（BIE）模块促进两个流之间的信息交流，在事件的固有特性带来的无效信息的影响下减轻有效信息的传播，实验证明我们的方法在事件流超分辨率方面优于现有方法，并在真实数据集和合成数据集上分别实现了超过 11％的性能提升，此外，我们的方法显著改善了基于事件的下游任务的性能，如目标识别和视频重构。

    May, 2024

  • 使用事件技术提高模糊图像的分辨率

    本研究介绍了一种基于事件的模糊超分辨率网络（EBSR-Net），利用事件的高时间分辨率来减轻运动模糊并提高高分辨率图像预测，通过多尺度中心 - 环绕事件表示来完全捕获事件内在的运动和纹理信息，设计对称的跨模态注意模块来充分利用模糊图像和事件之间的互补性，引入由多个残差密集 Swin 变换器块组成的交互残差组，在全局上下文中提取特征并促进块间特征聚合。广泛的实验证明，我们的方法与最先进的方法相比排名靠前，并具有显著的性能。

    May, 2024

  • 基于频谱引导的特征增强网络用于事件中的人物再识别

    事件相机在计算机视觉领域具有重要潜力，特别是在隐私保护方面。然而，与传统相机相比，事件流通常包含噪声，并且具有极其稀疏的语义，给事件驱动的人物重识别（Event Re-ID）带来了巨大挑战。为了解决这个问题，我们引入了一种新的事件人物重识别网络：光谱引导特征增强网络（SFE-Net）。该网络包括两个创新组件：多粒度光谱注意机制（MSAM）和连续块丢弃模块（CPDM）。MSAM 采用傅里叶频谱变换策略来过滤事件噪声，并利用事件引导的多粒度注意策略来增强和捕捉具有区别性的人物语义。CPDM 采用连续块丢弃策略生成多个不完整的特征图，鼓励深度重识别模型平等感知人物身体的每个有效区域，并捕捉到稳健的人物描述符。对事件重识别数据集进行的大量实验表明，我们的 SFE-Net 在此任务中取得了最佳性能。

    Feb, 2024

  • 保留、融合和交换：一种面向事件流识别的质量感知空间立体融合方法

    本文提出了一种新颖的双流框架 EFV++，通过差异化融合来进行基于事件流的模式识别，同时对事件图像和事件体素这两种常见的事件表示进行建模，利用 Transformer 和图神经网络分别学习空间和三维立体信息，并通过高质量特征、中质量特征和低质量特征的划分、融合和替换来增强双特征，最终使用混合交互读取机制来增强特征的多样性作为最终表示。大量实验表明，我们提出的框架在多个广泛使用的基于事件流的分类数据集上实现了最先进的性能，特别是在 Bullying10k 数据集上取得了新的最佳性能，达到了 90.51%，超过第二名 2.21%。本文的源代码已在 https://github.com/Event-AHU/EFV_event_classification/tree/EFVpp 上发布。

    Jun, 2024

  • 快速高效的网络，用于图像超分辨率

    提出透過堆疊高度優化的卷積和激活層以及降低特徵融合的方式，設計了一款適用於資源受限設備的快速且記憶體效率高的網路（FMEN 及其小版本 FMEN-S），並應用於圖像超分辨率研究，包含透過逐像素進行局部和全局內容的考量，強化高頻細節的序列注意力分支等技術，有效達成比當前最先進的 EISR 模型：E-RFDN 更快的運行速度以及減少 74％的記憶體消耗的成果。

    Apr, 2022

  • 基于事件融合的跨模态注意力运动去模糊

    本文利用事件相机记录图像信息的方式，提出了一种端到端的双阶段图像复原神经网络，设计了一个跨模态注意力模块来有效地融合事件与图像特征，同时引入了一种新的对称累积事件表示和事件掩膜门控连接，提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除，实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。

    Nov, 2021

  • SRFNet：基于空间可靠性导向的帧与事件融合的细粒度结构单目深度估计

    我们提出了一种新颖的 “空间可靠性导向融合网络（SRFNet）”，可以在白天和夜晚都能以细粒度的结构估计深度。我们的方法包括两个关键技术组件：一是基于注意力的交互式融合模块（AIF），应用事件和帧的空间先验作为初始掩码，并学习共识区域以引导跨模态特征融合；二是可靠性导向的深度细化模块（RDR），基于融合特征和掩码估计细粒度结构的密集深度。我们在合成和实际数据集上评估了我们方法的有效性，并表明，即使没有预训练，我们的方法在夜景场景中的性能也超过了以前的方法，如 RAMNet。

    Sep, 2023

  • EPNet：一种高效金字塔网络，用于减少计算需求的增强单图像超分辨率

    该研究介绍了一种高效金字塔网络（EPNet），通过融合边缘分割金字塔模块（ESPM）和全景特征提取模块（PFEM），克服了现有方法在计算效率方面的限制，从而实现了单幅图像超分辨率的高效实用化。

    Dec, 2023

  • EV-MGRFlowNet: 基于运动导向的循环网络的非监督事件驱动光流估计与混合运动补偿损失

    本文提出了一种基于事件相机的无监督光流估计算法 EV-MGRFlowNet，该方法使用带有运动引导的循环网络和混合运动补偿损失，充分利用先前的隐藏状态和运动流，并强化几何约束以更准确地对齐事件，实验结果表明，相对于 MVSEC 数据集上的当前最先进技术，AEE 平均误差可以达到约 22.71％的平均降低，是目前无监督学习方法中排名第一的。

    May, 2023

  • RFENet：面向玻璃分割的特征互进化

    本文提出了选择性互动进化（SME）模块，并引入了结构化精细的细化（SAR）模块和反向演化的特征进化网络（RFENet），成功地实现了玻璃样的物体分割，性能优于三个公共数据集。

    Jul, 2023