ProtoHPE: 基于原型引导的高频补丁增强可见 - 红外人员再识别
本文提出了 Patch-Mixed Cross-Modality framework (PMCM) 框架,该框架通过图片分割并拼接,实现了不同模态下人员识别过程中的语义对应,同时在视觉可见光和红外人员重识别任务中取得了最佳表现。
Feb, 2023
通过频域透视角度降低现有频域可见光红外人物再识别方法中的模态差异问题,通过引入实例自适应振幅滤波模块和短语保持归一化模块强化模态不变振幅分量并抑制模态特定分量,研究结果表明我们的模型在 SYSU-MM01 和 RegDB 两个标准数据集上性能优越。
Jan, 2024
本研究提出了一种新颖的特征学习框架,通过利用密集对应的交叉模态人物图像,像素级地抑制与模态相关的特征,从而更有效地促进交叉模态本地特征的判别式特征学习,从而解决了可见 - 红外人物重识别的问题。
Aug, 2021
可见 - 红外行人再识别(VI-reID)通过设计不同类型的网络架构来减小跨模态差异,本文提出了一种新颖的参数优化方法 —— 参数分层优化(PHO)方法,它允许直接优化部分参数而无需任何训练,缩小了参数搜索空间且使整个网络更易训练,此外,本文还引入了自适应对齐策略(SAS)来通过变换自动对齐可见光和红外图像,开发了自动加权对齐学习(AAL)模块来根据特征的重要性自动加权,同时,通过优化原则而非整个网络的训练,实现了 SAS 和 AAL 的对齐过程中的所有参数的即时优化,生成更好的参数训练方式,并且引入了跨模态一致性学习(CCL)损失来提取具有平移一致性的判别性人物表示,理论和实证结果都表明我们提出的 PHO 方法优于现有的 VI-reID 方法。
Apr, 2024
我们提出了一种渐进式对比学习多原型(PCLMP)方法,用于无监督的可见 - 红外人员再识别(USVI-ReID),通过引入硬原型、动态原型和渐进学习策略,该方法在多个数据集上验证了其有效性,超过了现有的最先进方法,并提供源代码。
Feb, 2024
本研究提出了增强可辨别特征学习(EDFL)方法来解决跨模态缺陷和内模态差异问题,同时采用双流卷积神经网络结构以学习多模态共享人物特征,获得了比现有技术明显更好的性能表现,实现了可视 - 热成像人物再识别。
Jul, 2019
本文提出了一种信息耦合的样本原型扩展 (ICPE) 方法,该方法可以灵活地为每个查询图像生成特定和刻画性的原型。ICPE 包括一个条件信息耦合模块和一个原型动态聚合模块,前者可以增强检测器中支持模块中的知觉信息,后者可以动态调整原型向量的聚合权重,以突出与检测查询图像有关的显著信息。实验证明该方法在 Pascal VOC 和 MS COCO 数据集上都取得了最新的实验效果。
Nov, 2022
通过引入区域数据增强和轻量级混合补偿模块的转移感知行人关注学习 (TMPA) 模型,以有效补偿缺失的特定模态特征,并完全探索具有最小计算开销的判别模块完整特征,我们提出了一种新颖的可见 - 红外行人再识别方法。在 SYSU-MM01 和 RegDB 数据集上进行的广泛实验证明了我们提出的 TMPA 模型的有效性。
Dec, 2023
我们提出了一种基于局部特征变换器的人员再辨识框架(PFT),通过三个模块设计,在提高视觉变换器的效率的同时最大限度提取局部特征,实现了对局部遮挡情况下的人员再辨识。实验结果显示,PFT 网络在遮挡和整体再识别数据集上表现出优异性能,并优于现有技术。
Jan, 2022
本文提出了一种名为 PMT 的深度学习框架,它采用渐进式共享模态转换器来解决 VI-ReID 任务中复杂的模态变化问题,并对模态共享特征进行可靠度和共性分析;同时提出了一种 Discriminative Center Loss (DCL),结合 Modality-Shared Enhancement Loss (MSEL) 来缓解大内部差异和小类间差异问题,从而更好地区分共享特征,该框架在 SYSU-MM01 和 RegDB 数据集上的表现优于现有的大多数最新状态 - of-the-art 方法。
Dec, 2022