Feb, 2024

中文心理 BERT：面向社交媒体的中文心理健康文本分析的领域自适应预训练

PDF
TL;DR本研究针对心理学领域缺乏定制的预训练模型，从中国社交媒体平台收集了 3.36 百万条文本，并加入心理学词典进行预训练改进，通过自适应训练开发出专门用于心理领域的模型，实验结果表明该模型在四个公共基准测试中表现优越且能够做出心理相关的预测。因数据隐私担忧，数据集不对公众开放，但预训练模型和代码可通过指定的链接公开获取。
psychological issuessocial mediapre-trained language modelspsychological text analysisdata privacy
发现论文，激发创造
  • MentalBERT：用于心理保健的公开预训练语言模型

    本文介绍了 MentalBERT 和 MentalRoBERTa 两种针对精神保健领域预训练的掩码语言模型，并对其和其他预训练语言模型在几个精神障碍检测基准测试中进行了评估，证明针对目标领域预训练的语言表示有助于提高精神健康检测任务的性能。

    Oct, 2021

  • 预训练数据的成本效益选择：在社交媒体上预训练 BERT 的案例研究

    本文讲述了如何在特定领域的 BERT 模型中使用社交媒体文本进行预训练，通过相似度计算筛选出有效的预训练数据，并实验验证了在推特和论坛文本上进行预训练的模型可以提高下游任务的效果。

    Oct, 2020

  • 领域特定的语言模型持续预训练用于捕捉心理健康领域长篇文本

    本文针对心理健康领域的 Reddit 帖子的长序列建模问题，进行了领域特定的持续预训练，基于 XLNet 和 Longformer 训练了 MentalXLNet 和 MentalLongformer 模型，评估了这两个模型的心理健康分类性能和长距离能力，并在 HuggingFace 上发布了这两个模型。

    Apr, 2023

  • 密超化粉 1.0：面向特定领域大模型的专用预训练语料数据集

    通过评估现有的大模型在专门领域中的限制性，本文引入了 “MiChao-HuaFen 1.0” 预训练语料库数据集，旨在为新闻和政府领域提供高质量和可靠来源，支持中文行业特定大模型的预训练，并促进相关领域深度学习研究和应用。

    Sep, 2023

  • CASE：为构建生成性和辨别性辅助心理学专家模型进行课程数据预训练

    该研究利用自然语言处理（NLP）流程来分析用于咨询的在线心理健康论坛的文本数据，以便快速识别需要紧急心理保健的人群。 通过分析论坛帖子，这些流程可以标记可能需要即时专业关注的用户。 本研究提出了两个模型：一个基于 BERT 的判别模型称为 CASE-BERT，根据论坛文本标记潜在的心理健康障碍；一个生成模型称为 CASE-Gemma，提取初步诊断的关键特征。 CASE-BERT 相较于现有方法表现出更好的性能，对抑郁症和焦虑症两种常见心理健康障碍的 f1 分数分别达到 0.91 和 0.88。CASE-Gemma 可以根据论坛文本生成诊断以达到 BERT 分数为 0.849。对 CASE-Gemma 的有效性进行了人工评估和定性方法评估，并得到了临床心理学家的合作。我们的代码可以在此 https URL 处获得。

    Jun, 2024

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • 利用 Hugging Face 转换器预测社交网络中的心理健康障碍

    使用社交媒体和预训练语言模型，探索如何利用用户生成的数据来预测心理障碍症状，并发现社交媒体数据是精神健康筛查的良好来源，预训练模型可以有效地自动化这一重要任务。

    Jun, 2023

  • CBT-LLM：面向认知行为疗法心理健康问答的中文大型语言模型

    通过大型语言模型，本研究设计了基于认知行为疗法的特定提示，生成了针对中国心理健康问答的 CBT QA 数据集，并利用该数据集对大型语言模型进行微调，从而产生了专为认知行为疗法技术设计的大规模语言模型 CBT-LLM。经验评估表明 CBT-LLM 在心理健康支持任务中能够产生结构化、专业和高度相关的回应，展示了其实用性和质量。

    Mar, 2024

  • 具有特定领域预训练语言模型的社交媒体公共卫生监测任务基准测试

    使用社交媒体上用户生成的文本数据进行公共卫生监测的研究表明，使用预训练语言模型（PLM）的进展促进了针对社交媒体上公共卫生监测任务的新模型的开发。本文介绍了一种名为 PHS-BERT 的 PLM，该模型在公共卫生监测任务上的表现优于现有的 PLMs，并在广泛的数据集上表现出鲁棒性和泛化性。

    Apr, 2022

  • 基于变压器模型的社交媒体压力和抑郁识别校准

    使用 BERT 和 MentalBERT 模型，将额外的语言信息注入到社交媒体上进行的压力和抑郁症检测中，通过 Multimodal Adaptation Gate 此方法在三个公开数据集上的表现有所提高。标签平滑化可以提高模型性能和调整模型。在压力和抑郁症文章中观察到了语言差异。

    May, 2023