Feb, 2024

基于频谱引导的特征增强网络用于事件中的人物再识别

PDF
TL;DR事件相机在计算机视觉领域具有重要潜力，特别是在隐私保护方面。然而，与传统相机相比，事件流通常包含噪声，并且具有极其稀疏的语义，给事件驱动的人物重识别（Event Re-ID）带来了巨大挑战。为了解决这个问题，我们引入了一种新的事件人物重识别网络：光谱引导特征增强网络（SFE-Net）。该网络包括两个创新组件：多粒度光谱注意机制（MSAM）和连续块丢弃模块（CPDM）。MSAM 采用傅里叶频谱变换策略来过滤事件噪声，并利用事件引导的多粒度注意策略来增强和捕捉具有区别性的人物语义。CPDM 采用连续块丢弃策略生成多个不完整的特征图，鼓励深度重识别模型平等感知人物身体的每个有效区域，并捕捉到稳健的人物描述符。对事件重识别数据集进行的大量实验表明，我们的 SFE-Net 在此任务中取得了最佳性能。
event cameraprivacy preservationevent-based person re-identificationspectrum-guided feature enhancement networkdeep re-id model
发现论文，激发创造
  • 人物再识别的光谱特征转换

    本文提出并应用谱聚类技术到卷积神经网络中，形成了一种新的模块 Spectral Feature Transformation，以此提升基于深度学习的 person re-identification 的性能，实验证明该方法在多个测试数据集上优于现有的其他方法。

    Nov, 2018

  • 基于 RGB-Event 融合的可变光照下的交通物体检测增强

    针对传统基于帧的摄像机由于动态范围受限而导致的信息丢失，我们引入了生物启发式事件摄像机，并提出了一种新颖的结构感知融合网络（SFNet），通过跨模态融合从事件流中提取清晰和完整的物体结构，以补偿图像中的信息丢失，从而使网络能够获得对光照鲁棒的交通物体检测表示。

    Nov, 2023

  • 通过事件匿名化实现无需身份识别的个体再识别

    通过提出一种端到端网络架构，在保护身份隐私的同时完成下游任务（如人物重新识别），我们旨在对事件流进行匿名化处理，以防止从事件相机重构图像的攻击，方法是学习对事件进行混淆，从而降低攻击者从隐私信息中恢复图像的能力。我们还通过丰富的实验验证了我们的方法，并报告了在从公开可用的 SoftBio 数据集和我们提出的 Event-ReId 数据集模拟的合成事件数据上的结果。

    Aug, 2023

  • 事件增强高质量图像恢复

    本文提出了一种可解释的网络，即基于事件增强的稀疏学习网络 (eSL-Net)，用于从事件相机中恢复高质量图像，并通过稀疏学习框架共同考虑事件和低分辨率强度观测，经过合成数据集的训练，可以将表现提高 7-12dB，在不需要额外训练的情况下，可以轻松扩展到具有与事件相同高帧率的连续帧的生成。

    Jul, 2020

  • 高效人员搜索的连续端到端网络

    提出了一种基于 Sequential End-to-end 网络和 Context Bipartite Graph Matching 算法来提升 person search 中 re-ID performance 的方法，并在 CUHK-SYSU 和 PRW 两个 benchmark 上取得了最先进的结果。

    Mar, 2021

  • 基于事件相机的脉冲神经网络面部表情识别（Spiking-Fer）

    本研究利用事件相机、脉冲神经网络及事件增强技术实现基于事件的面部表情识别，并与传统人工神经网络做性能比较，结果表明脉冲神经网络模型虽然能够实现较好的识别性能，但能耗仅为传统神经网络的 1/65。

    Apr, 2023

  • 用于人员再识别的分层双向特征感知网络

    提出了一种名为 HBFP-Net 的模型，使用低秩双线性池化模型来建模跨层级特征对的相关映射，并利用双向特征感知模块来丰富高层特征的注意力区域，成功提高了行人再识别的性能。

    Aug, 2020

  • 一种增强的深度特征表示方法用于人员再识别

    本文提出 Feature Fusion Net 模型，使用手工制作的直方图和纹理特征，能够与卷积神经网络 (CNN) 特征互补，可以得到一个更具区分性和紧凑的深度特征表示，并在 VIPeR、CUHK01 和 PRID450s 三个数据集上进行了验证。

    Apr, 2016

  • 密集语义对齐的人员再识别

    本研究提出了一种基于密集语义对齐的人员再识别框架，通过利用人图像的密集语义估计，构建了一组密集语义对齐的部分图像，设计了一个两流网络，其中一个流具有密集语义对齐，它通过引导主全流学习来解决不同图像之间的身体不对齐问题。最终，在 CUHK03、CUHK01 和 Market1501 数据集上将表现优于现有方法，最高 rank-1 精度达到 95.7％。

    Dec, 2018

  • 高效的事件流超分辨率与递归多支融合

    我们提出了一种高效的递归多分支信息融合网络（RMFNet），用于处理事件流中的正负事件，实现互补信息提取和改善效果。经实验证实，我们的方法在合成和真实数据集上分别取得了 17% 和 31% 的改进，并且加速了 2.3 倍。此外，我们还在物体识别和视频重建等应用中验证了我们的方法，取得了优秀的结果。

    Jun, 2024