Apr, 2024

跨模态步态识别：连接 LiDAR 和相机模态进行人类识别

PDF
TL;DR本研究主要关注于穿越不同传感器跨模态识别行人的步态识别研究，通过提出 CrossGait 方法，利用特征对齐策略进行跨模态数据检索，并通过 Prototypical Modality-shared Attention Module 和 Cross-modality Feature Adapter 进一步增强模态之间的识别性能。在 SUSTech1K 数据集上广泛实验，CrossGait 在多样的场景中展现了良好的跨模态能力，能准确检索不同传感器和多种模态的行人，同时保持了单模态识别所需的模态特定特征。
发现论文，激发创造
  • LiCAF: 基于激光雷达和摄像机的不对称融合用于步态识别

    本研究介绍了一种对步态进行识别的新型模态敏感网络 LiCAF，采用了不对称且交叉模态的渠道注意力和交叉模态的时域建模，通过 LiDAR - 相机融合获得的鲁棒步态表示，在 SUSTech1K 数据集上取得了最先进的性能水平（Rank-1 为 93.9%，Rank-5 为 98.8%），证明了其有效性。

    Jun, 2024

  • 学习跨模态深度表示以实现鲁棒的行人检测

    本文介绍了一种新的行人检测方法，基于跨模态学习框架、深度卷积神经网络等技术，可在恶劣光照条件下实现行人检测，并在公开数据集上表现出优异的性能。

    Apr, 2017

  • CrossFusion: 交错跨模态补充用于抵抗噪音的三维物体检测

    本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

    Apr, 2023

  • 自动驾驶的共享跨模态轨迹预测

    本文提出 Cross-Modal Embedding 框架，以利用多个输入模式的信息来解决自动驾驶系统中的交通代理的未来轨迹预测问题。该方法在训练时学习将一组互补特征嵌入到共享潜在空间中，并利用多个传感器模态进行优化，在测试时可利用单个输入模态生成预测，并取得了很好的效果。

    Nov, 2020

  • 自主驾驶的交叉模态轨迹预测

    本文提出了一种基于跨模态嵌入框架的自动驾驶预测交通代理未来轨迹的方法，利用多种输入模式和相关传感器来预测未来轨迹，具有较好的预测效果。

    Apr, 2020

  • 多层次跨模态联合对齐：可见 - 红外人员再识别

    提出了一种名为多层交叉模态联合对齐（MCJA）的简单而有效的方法，它通过模态对齐增强和跨模态检索损失来缩小可见光和红外图像之间的差距，从而实现人员再识别任务的跨模态图像检索。

    Jul, 2023

  • 通过对齐学习：利用跨模态对应关系进行可见光 - 红外人员再识别

    本研究提出了一种新颖的特征学习框架，通过利用密集对应的交叉模态人物图像，像素级地抑制与模态相关的特征，从而更有效地促进交叉模态本地特征的判别式特征学习，从而解决了可见 - 红外人物重识别的问题。

    Aug, 2021

  • 基于运动捕捉数据的步态识别

    本文提出了一种基于机器学习的统计方法，利用线性判别分析与最大边缘准则从原始运动捕捉数据中提取强健步态特征，通过对 CMU MoCap 数据库的实验表明了该方法的优越性，并说明了其具有高度的移植性，对于不需要特定组特征的人物识别非常方便，此研究结果可使运动捕捉技术更直接地应用于人物识别领域。

    Aug, 2017

  • 使用注意力循环学习局部表征进行视角不变步态识别

    本研究提出一种基于卷积神经网络和循环神经网络的双向注意力模型，应用于步态识别领域。实验表明，该模型在数据采集和外观变化等因素影响下的识别性能优于其他方法，并对不同类型遮挡的数据具有更强的鲁棒性。

    Oct, 2020

  • 行人动作预测的多模态混合架构

    本研究提出了一种新颖的多模态预测算法，采用混合学习架构来分析环境的视觉特征和场景动态，预测行人的未来横穿行为，并在现有 2D 行人行为基准和新的 3D 驾驶数据集上进行评估，取得了最先进的表现。

    Nov, 2020