短视频与心理健康:知识引导的多模态神经主题模型
本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测,包括来自音频、视频和文本模式的特征融合,其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习,实验中表现优于现有基线 17.52% 的均方根误差。
Sep, 2019
通过对 203 个关键帧进行分析,我们比较了 LLM 和两名人类编码员在视频注释方面的准确性,发现 LLM 在物体和活动注释方面的准确性较高,而在情感和流派注释方面的准确性较低。此外,我们还确定了 LLM 注释视频的潜力和局限性,探讨了未来研究和改进工作的机遇和挑战,并讨论了基于 LLM 辅助视频分析的道德关切。
Jun, 2024
在美国,五分之一的成年人患有精神疾病。由于精神健康专业人士和离线资源短缺,在线短视频内容成为传播精神健康帮助和资源的关键渠道。然而,内容创作和获取的便利性也导致了错误信息的传播,对准确诊断和治疗构成风险。检测和了解与此类内容的互动对于减轻其对公共健康的有害影响至关重要。我们使用 YouTube Shorts 和 Bitchute 进行首个定量研究,并贡献了 MentalMisinfo,这是一个新颖的带标签的精神健康错误信息(MHMisinfo)数据集,包括 739 个视频(来自 YouTube 的 639 个和来自 Bitchute 的 100 个)和共计 135,372 条评论,使用专家驱动的注释模式。首先,我们发现少样本上下文学习与大型语言模型(LLM)在检测 MHMisinfo 视频方面是有效的。接下来,我们发现观众在两个视频分享平台上如何参与 MHMisinfo 视频的评论中存在着明显且潜在危险的语言模式。在这两个平台上,评论可能会加剧普遍存在的污名化,并有些群体表现出对 MHMisinfo 的高度易感性和认同。我们讨论了解决在线精神健康错误信息 “流行病” 的技术和公共健康驱动的适应性解决方案。
Jul, 2024
本文提出了一种基于预训练模型,使用图像和文本嵌入的弹性时间丰富多模态变压器模型,用于从社交媒体消息中检测抑郁症,结果表明该方法超越了其他方法,达到了 0.931 F1 值,是目前最先进的方法。
Jan, 2023
本文提出了一种利用社交媒体内容自动补充传统调查方法得出近实时大规模粗略估计心理健康状况的方法,该方法利用用户 embedding,本研究证明了这些 embedding 可以捕捉到与精神疾病相关的行为特征,从而能够预测用户的心理健康状况。
Apr, 2017
综述了神经主题模型(Neural Topic Models)的方法、应用和挑战,将当前的神经主题模型方法按网络结构进行系统分类,并介绍了在短文本和跨语言文档等多种场景中的神经主题模型应用。还讨论了基于神经主题模型构建的各种热门应用,最后指出了神经主题模型面临的挑战,以激发未来的研究。
Jan, 2024
通过深度学习模型检测社交媒体用户的心理状况,可以更好地理解疾病并提供早期发现的手段。基于分层注意力网络的二元分类任务预测用户是否患有九种不同疾病中的一种,在四种疾病中表现出比先前设定的基准更高的性能,并通过检查模型的单词级注意权重分析分类相关的短语的限制。
Mar, 2020