Apr, 2023

领域特定的语言模型持续预训练用于捕捉心理健康领域长篇文本

PDF
TL;DR本文针对心理健康领域的 Reddit 帖子的长序列建模问题，进行了领域特定的持续预训练，基于 XLNet 和 Longformer 训练了 MentalXLNet 和 MentalLongformer 模型，评估了这两个模型的心理健康分类性能和长距离能力，并在 HuggingFace 上发布了这两个模型。
pretrained language modelsmental health domaindomain-specific continued pretrainingmentalxlnetmentallongformer
发现论文，激发创造
  • MentalBERT：用于心理保健的公开预训练语言模型

    本文介绍了 MentalBERT 和 MentalRoBERTa 两种针对精神保健领域预训练的掩码语言模型，并对其和其他预训练语言模型在几个精神障碍检测基准测试中进行了评估，证明针对目标领域预训练的语言表示有助于提高精神健康检测任务的性能。

    Oct, 2021

  • 基于预训练语言模型的长篇临床文本比较研究

    本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

    Jan, 2023

  • 中文心理 BERT：面向社交媒体的中文心理健康文本分析的领域自适应预训练

    本研究针对心理学领域缺乏定制的预训练模型，从中国社交媒体平台收集了 3.36 百万条文本，并加入心理学词典进行预训练改进，通过自适应训练开发出专门用于心理领域的模型，实验结果表明该模型在四个公共基准测试中表现优越且能够做出心理相关的预测。因数据隐私担忧，数据集不对公众开放，但预训练模型和代码可通过指定的链接公开获取。

    Feb, 2024

  • 通过大型语言模型理解心理健康的评估

    评估大型语言模型在理解人类心理健康状况表达方面的潜力，结果显示，基于 Transformer 的模型（如 BERT 和 XLNet）在 DAIC-WOZ 数据集上表现优于大型语言模型。

    Jan, 2024

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • 针对临床和生物医学文本理解的德语语言模型的综合研究

    本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

    Apr, 2024

  • 构建领域特定的大型语言模型的高效连续预训练

    本研究探讨了持续预训练作为开发面向特定领域的大型语言模型的一种替代策略，引入了通过领域自适应持续预训练在金融领域上开发的 FinPythia-6.9B，FinPythia 通过金融任务中持续预训练实现了稳定的改进，并进一步探索了简单而有效的数据选择策略，相较于常规的持续预训练方法，我们的数据选择策略在使用仅 10% 的语料库大小和成本时表现更好，在开放领域的标准任务上没有任何退化。本研究提出了一种以成本效益的方式构建面向特定领域的大型语言模型的替代解决方案。

    Nov, 2023

  • 长文本中心理困扰原因的多类别分类

    使用 Longformer 对社交媒体数据中的自述文本进行编码，从而发现与心理疾病的因果关系，取得了最新的 M-CAMS 数据集上的最佳结果，为分析抑郁症和自杀风险提供了有效途径。

    Apr, 2023

  • 探寻咨询对话：领域知识与大型语言模型

    提出了一个系统的方法，用于检验领域知识和大型语言模型在代表危机辅导员与求助者之间的对话时的表现，结果表明领域知识和语言模型生成的特征能够更好地描述咨询对话。

    Feb, 2024

  • 通过元训练和大型语言模型的上下文学习，为跨语言学习调整心理健康预测任务

    该研究介绍了两种不同的方法，使用模型无关的元学习和利用大型语言模型（LLMs）来预测低资源非洲语言（如斯瓦希里语）中心理健康状况。通过应用于压力、抑郁、抑郁症严重程度和自杀倾向等四个心理健康任务的三个翻译为低资源语言的数据集进行实验，结果显示我们的元学习模型在宏观 F1 得分上相较于 XLM-R 和 mBERT 的基准微调方法有 18％和 0.8％的显著提高，同时，研究还通过分析不同的跨语言提示方法，利用 LLMs 的上下文学习能力评估了它们在斯瓦希里心理健康预测任务中的准确性，并发现斯瓦希里提示优于跨语言提示但不及英语提示。研究结果表明通过精心设计的提示模板、示例和说明可以通过跨语言迁移实现上下文学习。

    Apr, 2024