Jun, 2024

CASE：为构建生成性和辨别性辅助心理学专家模型进行课程数据预训练

PDF
TL;DR该研究利用自然语言处理（NLP）流程来分析用于咨询的在线心理健康论坛的文本数据，以便快速识别需要紧急心理保健的人群。 通过分析论坛帖子，这些流程可以标记可能需要即时专业关注的用户。 本研究提出了两个模型：一个基于 BERT 的判别模型称为 CASE-BERT，根据论坛文本标记潜在的心理健康障碍；一个生成模型称为 CASE-Gemma，提取初步诊断的关键特征。 CASE-BERT 相较于现有方法表现出更好的性能，对抑郁症和焦虑症两种常见心理健康障碍的 f1 分数分别达到 0.91 和 0.88。CASE-Gemma 可以根据论坛文本生成诊断以达到 BERT 分数为 0.849。对 CASE-Gemma 的有效性进行了人工评估和定性方法评估，并得到了临床心理学家的合作。我们的代码可以在此 https URL 处获得。
发现论文，激发创造
  • 利用大型语言模型生成合成数据以提高基于 BERT 的神经网络的性能

    利用大型语言模型（LLMs）生成的合成观察数据，用于改善机器学习模型对于自闭症谱系障碍（ASD）诊断的准确性。通过评估 ChatGPT 和 GPT-Premium 生成的 4,200 个合成观察数据，并使用预训练于生物医学文献的 BERT 分类器比较模型之间的性能差异，发现数据增加了召回率 13%，但降低了精确度 16%。未来的研究将分析不同合成数据特征对机器学习结果的影响。

    May, 2024

  • 中文心理 BERT：面向社交媒体的中文心理健康文本分析的领域自适应预训练

    本研究针对心理学领域缺乏定制的预训练模型，从中国社交媒体平台收集了 3.36 百万条文本，并加入心理学词典进行预训练改进，通过自适应训练开发出专门用于心理领域的模型，实验结果表明该模型在四个公共基准测试中表现优越且能够做出心理相关的预测。因数据隐私担忧，数据集不对公众开放，但预训练模型和代码可通过指定的链接公开获取。

    Feb, 2024

  • 使用变形金刚对心理健康帖子进行因果分类

    本研究使用 transformer 模型对 CAMS 数据集进行预训练的迁移学习，改善了现有分类器的效率，准确性取得了提升，证明了在社交媒体上对于心理健康分析中的因果关系的识别是必要的。

    Jan, 2023

  • MentalBERT：用于心理保健的公开预训练语言模型

    本文介绍了 MentalBERT 和 MentalRoBERTa 两种针对精神保健领域预训练的掩码语言模型，并对其和其他预训练语言模型在几个精神障碍检测基准测试中进行了评估，证明针对目标领域预训练的语言表示有助于提高精神健康检测任务的性能。

    Oct, 2021

  • ChatGPT 在基于自然语言处理的心理健康应用中的评估

    该研究评估了基于大型语言模型 ChatGPT 在三种文本分类任务中的表现，并发现零 - shot 分类准确度表明语言模型对心理健康分类任务具有潜在的应用价值。

    Mar, 2023

  • MentalLLaMA: 基于大型语言模型的社交媒体可解释性心理健康分析

    开发了第一个用于社交媒体上的可解释性心理健康分析的开源语言模型系列 MentalLLaMA，并通过 IMHI 数据集在正确性和解释质量方面接近最先进的判别方法。

    Sep, 2023

  • 基于课程的思维健康在线帖子抽象摘要

    本研究旨在通过采用课程学习方法，结合基于 Transformers 模型的自动生成摘要技术，从 Reddit 社交媒体上的心理健康相关帖子中提取性问题，从而提高医生的阅读效率和准确性，为人们提供更及时有效的心理卫生服务。相较于目前已有的模型，本方法在 Rouge 和 Bertscore 评估指标上分别有显著的相对改进。

    Feb, 2023

  • 大型语言模型与专家相当：识别青少年在线论坛中的心理健康因素

    儿童和青少年的心理健康在过去几年中不断恶化。大型语言模型（LLMs）的出现为监测和干预的成本和时间效率提供了很大希望。我们创建了一个 Reddit 帖子的新数据集，经过专家精神科医生的标注，用于以下类别：创伤，不稳定性，病情，症状，自杀倾向和治疗，并将专家标签与两个表现最佳的 LLMs（GPT3.5 和 GPT4）的注释进行比较。我们发现 GPT4 与人际标注者一致性的表现相当，并且合成数据的性能要高得多，但我们发现模型有时仍会在否定和事实性问题上犯错误，合成数据的更高性能是由于真实数据的复杂性而不是固有优势。

    Apr, 2024

  • 数字时代的心理健康诊断：在社交媒体平台上利用情感分析对稀疏特征内容进行利用

    通过分析社交媒体平台上人们的发帖和讨论，借助自然语言处理技术，本研究提出一种新颖的语义特征预处理技术，通过弱分类器减少特征稀疏性，采用模量循环实现自适应特征维度，深度挖掘和扩展上下文中的特征，训练一个机器学习模型来预测和分类精神障碍，通过 Reddit 精神健康数据集 2022 对焦虑、边缘型人格障碍和双相情感障碍等病症进行研究，解决了数据稀疏性挑战，显著提高了性能，为心理健康预测与监测提供创新解决方案。

    Nov, 2023

  • 自动难民案件分析：支持法律从业者的自然语言处理管道

    本研究介绍了一个从法律案例中检索、处理和提取目标信息的端到端方法，并进行了在加拿大难民法律领域的案例研究。通过使用最先进的神经命名实体识别技术，从不同的神经网络模型中选择最佳方法来提取有用的信息。模型可以在 5 个目标类别上实现高于 90% 的 F1 分数，并在其他 4 个类别上实现超过 80% 的分数。

    May, 2023