本研究旨在对 “野外” 单个说话人的单调发言进行语音输入并生成合理的手臂动作，通过训练无标签视频并将我们的模型与基准方法进行量化比较，证明了我们提出的模型在肢体运动与语音之间的交叉模式翻译方面显着优于基准方法，并且我们发布了一个大型的视频数据集以支持研究。

Jun, 2019

本文通过开发人体姿势的关键点，如肩膀，肘部等提取特征，从步态方面入手，探究如何检测神经学等常见疾病，如巴金森症，亚健，半瘫和亨廷顿舞蹈病的不同异常，通过构建合成视频数据集进行实验验证，并且证明了其有效性。

Aug, 2020

采用深度学习范式从多传感器加速度计信号中学习的特征和转移学习可以实现更精确的 SMM 检测器，从而为自闭症治疗的准确调整提供支持。

Nov, 2015

自闭症谱系障碍 (ASD) 对儿童的生活常常造成困难，因此早期诊断对于正确的治疗和关怀是必要的。为了帮助医疗专业人员早期发现，我们提出了一种分析儿童对感官刺激反应的深度学习模型，旨在捕捉 ASD 和非 ASD 患者之间反应和行为的关键差异。与许多 ASD 分类中的研究不同，我们的数据是由 MRI 数据组成，这需要昂贵的专用 MRI 设备，而我们的方法仅依赖于一台相对较便宜的 GPU、一套不错的计算机配置和一个用于推断的视频摄像机。我们的数据结果表明，我们的模型能够很好地进行泛化并理解患者不同运动之间的关键差异，尽管对于深度学习问题的数据量有限，模型输入上有限的时间信息和因运动而产生的噪音。

Feb, 2024

通过使用机器人收集的数据来训练分类系统，这项研究探究了在训练智能系统时特定样本的稀缺性所带来的挑战。研究结果在确定使用机器人运动数据作为训练数据来准确识别佩戴智能手表的人类数字字符的潜力方面提供了有价值的见解，对于那些访问人类特定数据有限的领域具有广泛的影响。

May, 2024

我们提出了一种基于语音和相应的手势模式的多模态图神经网络，用于检测失语症类型，通过学习每种失语症类型中语音和手势模态之间的相关性，我们的模型能够生成对手势信息敏感的文本表示，实现了准确的失语症类型检测，实验证明了我们方法的优越性 (达到了 84.2% 的 F1 值)，我们还展示了手势特征优于声学特征，凸显了手势表达在检测失语症类型中的重要性。

Oct, 2023

评估自闭症谱系障碍的动作学分析方法，比较手工制作特征和端到端模型在虚拟现实环境的有效性，结果显示端到端模型在动作一致性方面表现更好，但手工制作特征在特定任务方面表现出色。

Nov, 2023

我们提出了一种新的框架，将手势检测任务看作多阶段序列标注问题，通过处理时间窗口内的骨骼运动序列，使用 Transformer 编码器学习上下文嵌入，并利用条件随机场进行序列标注。我们在大规模数据集上对我们的方法进行评估，结果表明，我们的方法在检测手势笔划方面明显优于强基准模型。此外，将 Transformer 编码器应用于从运动序列中学习上下文嵌入显著改善了手势单元检测。这些结果突显了我们框架捕捉共话手势阶段微观动态的能力，为更细致和准确的手势检测和分析铺平了道路。

Aug, 2023

采用机器学习技术和自注意力的时间动作定位模型，针对自闭症谱系障碍（ASD）的幼儿视频，发展了简化复杂建模和强调效率的 ASD 行为识别方法，为 ASD 筛查提供了有前景的早期干预和支持方案，成为首个实施未剪辑的 ASD 幼儿视频中端到端时态行动定位的研究。

Apr, 2024

本文采用计算机视觉技术进行自动检测孤独症谱系障碍 (Autism Spectrum Disorder, ASD) 患者的刻板行为，并从非监督学习的角度解决监督学习方法难以应用于多种类型的刻板行为且数据难以获取的问题。通过提出一种基于 DS-SBD 模型的双流深度模型，该模型可以有效地检测 ASD 患者中的刻板行为，从而为未来的研究提供潜在的基准。

Feb, 2023