心理健康严重性预测:基于大型语言模型的多语言数据集的创建、分析与评估
我们在这项工作中,首次对多种大语言模型(LLMs)进行了全面评估,包括Alpaca、Alpaca-LoRA和GPT-3.5,针对在线文本数据中的各种心理健康预测任务。我们进行了广泛的实验,涵盖了零样本提示、少样本提示和指令微调。研究结果表明,对于心理健康任务,LLMs在零样本和少样本提示设计上具有有限但有希望的性能。更重要的是,我们的实验表明,指令微调可以显著提升LLMs在所有任务上的表现。我们最佳微调模型Mental-Alpaca在平衡精度上比GPT-3.5(规模大25倍)高出16.7%,并与最先进的任务特定模型相媲美。我们总结了一系列行动指南,供未来的研究人员、工程师和实践者参考,介绍如何赋予LLMs更好的心理健康领域知识,并成为心理健康预测任务的专家。
Jul, 2023
目前缺乏对大型语言模型(LLMs)在心理健康领域能力评估的全面基准。因此,我们填补该空白,并引入了首个适用于心理健康领域特点的全面基准,包括六个子任务、三个维度,系统评估LLMs在心理健康领域的能力。我们为每个子任务设计了相应的简明提示,并全面评估了八个先进的LLMs使用我们的基准。实验结果不仅展示了当前LLMs在心理健康方面的改进空间,还揭示了未来模型优化的潜在方向。
Nov, 2023
大语言模型在精神卫生保健中展示了广泛的应用,涵盖诊断、患者支持等方面。然而,数据可用性、精确处理心理状态和有效评估方法等问题,导致了临床适用性和伦理考虑方面的差距存在,要推动精神卫生保健中大语言模型的进一步发展,需要依靠多学科协作、数据集开发、技术精进和伦理融合等方面的全面努力。
Jan, 2024
总结和概括了大型语言模型(LLMs)在心理健康领域的应用,包括早期筛查、数字干预和其他临床应用领域的强项、限制、挑战和机遇,并指出了LLMs在心理健康问题检测和个性化医疗方面的有效性,同时也提出了关于文本一致性、幻觉内容和缺乏伦理框架的风险以及LLMs作为创新临床工具的进一步研究和发展的必要性,强调LLMs应该是专业心理健康服务的补充而非替代。
Feb, 2024
改进发展中国家中的心理健康支持是迫切的需求,其中一个潜在解决方案是开发可扩展的自动化系统进行诊断筛查,可以帮助减轻心理健康专业人员的负担。本研究评估了几种最先进的大型语言模型(LLMs),在我们的定制数据集上进行了简明摘要生成的评估。我们使用已建立的ROUGE评估指标和人工评估员的输入,对四种不同的摘要生成模型进行了严格评估。结果显示,我们表现最好的经过细化调整的模型优于现有模型,ROUGE-1和ROUGE-L分别达到0.810和0.764。此外,我们还评估了该经过细化调整的模型在公开可用的D4数据集上的泛化能力,结果令人鼓舞,表明其潜在的适用性超出了我们的定制数据集。
Mar, 2024
该研究介绍了两种不同的方法,使用模型无关的元学习和利用大型语言模型(LLMs)来预测低资源非洲语言(如斯瓦希里语)中心理健康状况。通过应用于压力、抑郁、抑郁症严重程度和自杀倾向等四个心理健康任务的三个翻译为低资源语言的数据集进行实验,结果显示我们的元学习模型在宏观F1得分上相较于XLM-R和mBERT的基准微调方法有18%和0.8%的显著提高,同时,研究还通过分析不同的跨语言提示方法,利用LLMs的上下文学习能力评估了它们在斯瓦希里心理健康预测任务中的准确性,并发现斯瓦希里提示优于跨语言提示但不及英语提示。研究结果表明通过精心设计的提示模板、示例和说明可以通过跨语言迁移实现上下文学习。
Apr, 2024
利用当代语言模型在序列到序列任务中的应用来增强心理健康研究,通过小型模型,可以准确高效地进行领域特定临床变量的数据标注和心理健康仪器的数据收集,并表现出比商业大型模型更好的性能。
Jun, 2024
本文研究了大型语言模型(LLMs)在心理健康护理中的应用,评估其在人类参与者中的有效性及临床适用性。研究发现,尽管LLMs在扩展心理健康护理服务方面具有潜力,但多数研究方法不标准,并且缺乏对隐私、安全和公平性的深入探索,表明需要更严格的评估和伦理监督以确保其安全有效地整合入临床实践。
Aug, 2024
本研究针对大型语言模型在心理健康任务中的表现进行了全面评估,特别是利用社交媒体数据进行二元疾病检测、疾病严重程度评估和精神病学知识评估。研究发现,GPT-4和Llama 3在二元疾病检测中的表现优越,准确率高达85%,同时显示了提示工程对模型性能的重要影响。
Sep, 2024
本研究解决了大语言模型在非英语心理健康系统应用中的研究缺口,重点检测希腊语中用户生成帖子所反映的抑郁严重性。研究结果表明,GPT3.5-turbo在识别英语抑郁严重性方面效果不佳,希腊语表现也存在差异,强调了在资源较少语言中进行进一步研究的必要性及人类监督的重要性。
Oct, 2024