Jul, 2024

使用新型预激活倒置残差网络和混合元启发式优化密集网络的虹膜和掌纹多模态生物识别

PDF
TL;DR本文提出了一种利用深度学习算法、采用虹膜和掌纹模态的新型多模态生物识别系统。通过实施修改过的萤火虫算法与洛维飞行算法（MFALF），对对比受限的自适应直方图均衡化（CLAHE）算法进行优化，从而有效增强图像对比度。然后，通过 ReliefF 与 Moth Flame 优化（MFOR）的独特混合进行特征选择。在分类方面，采用了两种并行方法，首先介绍了一种新颖的预激活反转 ResNet（PIR）架构，其次利用创新的 Johnson Flower 多孔虫算法和 Rainfall 优化算法的混合来微调基于 Transfer Learning 的 DenseNet 架构的学习率和随机失活参数（JFPA-ROA）。最后，实现了得分级别的融合策略，将两种分类器的输出组合起来，提供一个强大而准确的多模态生物识别系统。通过对 CASIA Palmprint，MMU，BMPD 和 IIT 数据集的测试，得到的多模态识别体系结构实现了 100％的识别准确率，胜过了单模态的虹膜和掌纹识别方法。
multimodal biometricsdeep learning algorithmsmodified firefly algorithmpreactivated inverted resnetscore-level fusion strategy
发现论文，激发创造
  • 移动非接触式掌纹识别：多尺度多模型嵌入

    将全局和局部特征相结合的新框架可提高掌纹匹配准确性，结合 ViT 和 CNN 特征的基于移动设备的 Palm-ID 系统在 AMD EPYC 7543 32-Core CPU 上以 128 个线程在 18ms 内提取模板，在 0.33ms 内对 10,000 个掌纹图库进行高效搜索，并在大规模操作数据集上实现 98.06% 的真正接受率（TAR）和 0.01% 的误认为真率（FAR），同时在移动设备中嵌入完整的识别流程以提升用户隐私和安全。

    Jan, 2024

  • 多光谱掌纹编码和识别

    本文提出了一种用于多光谱掌纹特征编码和匹配的方法，并设计了二进制哈希表结构以实现在大型数据库中有效匹配，经过综合实验验证，该方法在识别和验证场景下均表现出比现有最先进方法更为出色的性能表现，产生的误差率分别为 0.003％和 0.2％，证明了掌纹作为一项可靠且有前途的生物测定技术。

    Feb, 2014

  • 多模态深度面部表示的鲁棒人脸识别

    本篇论文提出了一种使用多模式信息联合学习人脸表征的深度学习框架，该框架包括一组卷积神经网络和三层堆叠自动编码器，使用公开可用的数据集训练，取得了超过 99％的人脸识别率。

    Sep, 2015

  • 高级虫害检测与分类的多模态方法

    本文提出了一种新颖的多模态深度学习框架，结合了 tiny-BERT 的自然语言处理和 R-CNN 以及 ResNet-18 的图像处理，以增强农业害虫检测。通过集成文本上下文进行更精确的害虫识别，该方法解决了传统基于 CNN 的视觉方法的局限性。R-CNN 和 ResNet-18 的整合解决了深度 CNN 的问题，如梯度消失，而 tiny-BERT 确保了计算效率。通过线性回归和随机森林模型的集成学习，该框架展示了出色的判别能力，如 ROC 和 AUC 分析所示。将文本和图像数据融合的这种多模态方法显著提高了农业害虫检测的效果。研究突出了多模态深度学习在复杂的真实场景中的潜力，并建议在多样化的数据集、高级数据增强和跨模态关注机制方面扩展以提高模型性能。

    Dec, 2023

  • HPILN: 一种跨模态人员重新识别特征学习框架

    该论文提出了一种新的特征学习框架 HPILN，它使用特别设计的 hard pentaplet 损失和身份损失来改善现有单模态重新识别模型以适应跨模态情景；该方法在 SYSU-MM01 数据集上的广泛实验显示，它在 CMC 曲线和 MAP 方面优于所有现有方法。

    Jun, 2019

  • 识别部分生物特征模式

    提出一个用于任意生物识别匹配场景的鲁棒性通用框架，将 FCN 的特征映射和基于字典学习的空间特征重构技术相结合，应用特征后处理步骤以及批次硬三元组损失函数进行优化，实验证明该方法具有很高的性能。

    Oct, 2018

  • IdentiFace：基于 VGG 的多模态人脸生物特征识别系统

    IdentiFace 是一个多模式人脸生物特征系统，通过使用 VGG-16 模型和不同子系统的微小改进，将面部识别与性别、面部形状和情感等重要的软生物特征相结合，实现了五个类别的测试精度达到 99.2％，性别识别、面部形状和情感识别问题也取得了不错的测试精度。

    Jan, 2024

  • 一种高效的集成可解释人工智能（XAI）方法用于人脸混合检测

    本研究提出了一种名为 Ensemble XAI 的新型可视化解释方法，它整合了显著性地图、类激活映射和渐变 - 类激活映射，以提供更全面的可视化解释，用于预测输入是否为伪造的仿制品的深度学习预测模型。通过实验评估，该解释方法可以准确地说明深度学习模型的决策过程。

    Apr, 2023

  • LMFNet：一种高分辨率遥感图像语义分割的高效多模态融合方法

    提出了一种轻量级多模态数据融合网络（LMFNet），用于实现多模态遥感图像的融合和语义分割，通过权重共享、多分支视觉变换来同时容纳 RGB、NirRG 和 DSM 等各种数据类型，并通过多模态特征融合重构层和多模态特征自注意融合层对多模态特征进行重构和融合，实验证明了 LMFNet 的有效性。

    Apr, 2024

  • 可解释的多模态情感识别：利用面部特征和生理信号

    本文介绍了一种融合了多种多样信息的多模态框架，通过将来自视觉面部特征和视频输入中提取的 rPPG 信号的信息融合从而实现情感理解。基于排列特征重要性分析的解释性技术用于计算 rPPG 和视觉模态对将给定视频分类到特定情感类别的贡献。IEMOCAP 数据集上的实验表明，从多个模态组合的互补信息可以提高情感分类性能。

    Jun, 2023