Apr, 2024

G3R: 从 2D 视频中生成丰富细粒度的毫米波雷达数据以进行通用手势识别

PDF
TL;DR通过使用 2D 视频生成真实雷达数据，我们设计了 G3R 软件管道，用于解决缺乏丰富雷达数据集限制深度学习模型在不同用户姿势、位置和场景下的通用手势识别的问题。通过扩展用户骨架点、模拟雷达信号的多径反射和衰减以及解决生成和真实雷达数据之间点的数量和分布差异的挑战，我们的实验结果表明，G3R 在手势识别方面优于其他状态最先进方法。
发现论文，激发创造
  • 基于雷达的静态手势在美国手语中的识别

    人机交互与虚拟现实领域中，自动手势识别变得越来越重要。本研究探索了使用合成数据的方法来训练神经网络，以在虚拟现实和人机交互应用中提高手势识别的性能。

    Feb, 2024

  • 利用雷达点云进行跨模态学习的图形表示，长距离手势识别

    本文提出了一种利用基于点云的交叉学习方法（从相机到六十吉赫兹 FMCW 雷达）的长距离（1m-2m）手势识别解决方案，使用动态图卷积神经网络（DGCNN）建模点之间的关系并用双向 LSTM 网络建模时间动态，实验结果表明该模型在五个手势的整体精度达到了 98.4％且具有泛化能力。

    Mar, 2022

  • 基于卷积变形生成对抗网络的微波手势识别系统

    本文提出了基于微波收发器和深度学习算法的手势识别系统，使用 5.8GHz 的 Doppler 雷达传感器获取手势信号并使用时频分析处理，通过构建可变形深度卷积生成对抗网络提出了一种新的机器学习体系结构，实验结果表明新的体系结构可以提高 10％的识别率，可变形核可将测试时间成本降低 30％。

    Nov, 2017

  • 边缘 FMCW 雷达的手势识别

    基于 60 GHz FMCW 雷达的轻量级手势识别系统，通过一种瘦身的雷达处理算法提取五个特征，并利用基于循环神经网络的架构实现手势的检测和分类。该系统在嵌入式平台上运行，对内存、计算和功耗有严格要求，达到了 98.4% 的 F1 分数，在 Arm Cortex-M4 微控制器上仅需 280 kB 的闪存空间、120 kB 的 RAM 和 75 mW 的功耗。

    Oct, 2023

  • ProbRadarM3F: 基于 mmWave 雷达的人体骨骼姿态估计与概率图引导的多格式特征融合

    通过概率地图引导的多格式特征融合模型 ProbRadarM3F，本文提出了一种用于人体姿态估计的新型毫米波雷达特征提取框架，有效地实现了人体的 14 个关键点的估计。实验证明了该模型的有效性，其 AP 达到 69.9%，突出了研究中未被利用的位置信息，为探索毫米波雷达中的其他潜在非冗余信息提供了方向。

    May, 2024

  • 设备端实时手势识别

    提出了一个基于设备的实时手势识别系统，利用单个 RGB 相机检测一组预定义的静态手势，该系统包括手骨骼跟踪器和手势分类器，使用 MediaPipe Hands 作为手骨骼跟踪器的基础，在世界度量空间中添加了 3D 关键点的估计，并创建两个不同的手势分类器，一个基于启发式方法，另一个使用神经网络。

    Oct, 2021

  • 增强现实应用中，合成视频生成用于手势识别的鲁棒性提升

    本文介绍了一个能够生成具有标记边界框和指尖的逼真视频的框架，以帮助设计、训练和基准测试增强现实 /virtual reality 应用程序中的手势识别模型，并展示了我们的框架在生成具有不同背景的视频方面的有效性。

    Nov, 2019

  • Talk2Radar：自然语言与 4D 毫米波雷达的 3D 指称表达理解的桥接

    以 4D 毫米波雷达为基础，作者构建了第一个桥接自然语言和雷达场景的数据集 Talk2Radar，提出了一种新颖模型 T-RadarNet，实现了 3D 点云的自然语言驱动上下文理解，并在 Talk2Radar 数据集上取得了领先同类模型的最先进性能。

    May, 2024

  • 基于关键点和雷达流融合的自动驾驶手势识别

    本研究提出了一种联合摄像机和雷达方法，使自动驾驶车辆能够了解和响应日常交通中的人类手势，通过处理雷达和摄像机数据，利用融合神经网络提高手势识别的准确性。

    Feb, 2023

  • 设备端实时自定义手势识别

    该研究论文提出了一个用户友好的框架，使用户能够自定义和部署自己的手势识别流程，包括使用预训练的单手嵌入模型进行微调，提供低代码解决方案用于训练和部署自定义手势识别模型，以及提供无代码的 Web 前端，最终得到的自定义手势识别可以在实时场景中进行设备上运行。

    Sep, 2023