MMASD+: 一种新的隐私保护儿童自闭症行为分析数据集
本文引入了Vision Transformer方法ViTASD,通过提取患者面部图片中的特征来分析小儿孤独症的症状,相关实验表明,该方法在小儿孤独症面部分析方面表现优异,ViTASD-L更是取得了最新的最优效果。
Oct, 2022
该研究提出了一种隐私保护的开源数据集MMASD,它包括来自32个ASD儿童游戏治疗干预的数据,被分割成超过100个小时的干预录音,并由四个隐私保护数据模式组成,可帮助研究人员了解儿童的认知状态,监测他们在治疗期间的进展,并相应地定制治疗计划。
Jun, 2023
评估自闭症谱系障碍的动作学分析方法,比较手工制作特征和端到端模型在虚拟现实环境的有效性,结果显示端到端模型在动作一致性方面表现更好,但手工制作特征在特定任务方面表现出色。
Nov, 2023
通过机器学习和深度学习方法,提出了一种新的流程模型来检测自我刺激行为,从而帮助诊断孤独症谱系障碍(ASD)。通过扩充自我刺激行为数据集(SSBD)并使用新的标签,结合深度学习模型,实现了针对实时、免提自动诊断的模型,准确率达到约81%。
Nov, 2023
自闭症谱系障碍 (ASD) 对儿童的生活常常造成困难,因此早期诊断对于正确的治疗和关怀是必要的。为了帮助医疗专业人员早期发现,我们提出了一种分析儿童对感官刺激反应的深度学习模型,旨在捕捉 ASD 和非 ASD 患者之间反应和行为的关键差异。与许多 ASD 分类中的研究不同,我们的数据是由 MRI 数据组成,这需要昂贵的专用 MRI 设备,而我们的方法仅依赖于一台相对较便宜的 GPU、一套不错的计算机配置和一个用于推断的视频摄像机。我们的数据结果表明,我们的模型能够很好地进行泛化并理解患者不同运动之间的关键差异,尽管对于深度学习问题的数据量有限,模型输入上有限的时间信息和因运动而产生的噪音。
Feb, 2024
本文介绍了一种新颖的问题,即视听自闭症行为识别,其中包括社交行为识别,这是之前在AI辅助自闭症筛查研究中被忽视的一个重要方面。我们将所面临的任务定义为视听自闭症行为识别,它使用音频和视频提示,包括音频中的任何语音,来识别与自闭症相关的行为。为了促进这个新的研究方向,我们收集了一个音视频自闭症谱系数据集 (AV-ASD),目前是使用行为方法进行自闭症筛查的最大视频数据集。它涵盖了广泛的与社交交流和互动相关的自闭症行为。为了为进一步研究这个新问题铺平道路,我们深入探讨了在不同模态之间利用基础模型和多模态大语言模型。我们对AV-ASD数据集的实验表明,整合音频、视觉和语音模态显著提高了自闭症行为识别的性能。此外,我们还探索了在多模态大语言模型中使用后处理至临时处理流程,以调查其在自闭症行为识别过程中增强模型解释能力的潜力。我们将发布我们的数据集、代码和预训练模型。
Mar, 2024
本研究解决了在真实课堂环境中快速识别和准确记录自闭症谱系障碍(ASD)中干扰和高风险行为的问题。通过先进的视频基础群体活动识别技术,我们提出了一种能够在保护隐私的同时量化行为的可解释模型,其F1-score达77%。该研究为开发有效的数据收集工具奠定了基础,从而减轻了课堂工作人员的工作负担。
Jul, 2024
本研究解决了自闭症谱系障碍(ASD)领域中数据共享带来的隐私问题,提出了MMASD+数据集,包含多种数据模态,并集成了Yolov8和Deep SORT算法进行行为分析。一个多模态变换框架被提出,预测11种行为类型和ASD的存在,模型在准确率上有显著提升,展示了多模态数据整合的优势。
Aug, 2024
本研究针对自闭症谱系障碍(ASD)早期检测中的客观性不足问题,提出了一种新的亲子互动积木游戏协议(PCB),旨在识别自闭症与正常发展幼儿之间的行为模式。同时,我们构建了一个大规模的视频数据集,包含40名自闭症幼儿和89名正常发展的幼儿,通过采用一种混合深度学习框架,实现了高达89.6%的早期检测准确率,能够极大地改善自闭症的早期诊断,提高临床决策的及时性与准确性。
Aug, 2024
本研究解决了准确诊断自闭症谱系障碍(ASD)在年轻儿童中的难题,特别是在数据可用性方面的不足。提出了视频ASD数据集,包含2,467个视频的特征数据,展示儿童对化学感官刺激的反应,旨在促进ASD分类的进展。研究发现,运动噪声对模型性能的影响凸显了复杂标签和更多数据需求的重要性。
Sep, 2024