ACLApr, 2022

具有特定领域预训练语言模型的社交媒体公共卫生监测任务基准测试

PDF
TL;DR使用社交媒体上用户生成的文本数据进行公共卫生监测的研究表明，使用预训练语言模型（PLM）的进展促进了针对社交媒体上公共卫生监测任务的新模型的开发。本文介绍了一种名为 PHS-BERT 的 PLM，该模型在公共卫生监测任务上的表现优于现有的 PLMs，并在广泛的数据集上表现出鲁棒性和泛化性。
public health surveillancesocial mediapretrained language modelsphs-bertperformance benchmarking
发现论文，激发创造
  • 大规模语言模型的公共卫生平衡和可解释的社交媒体分析

    给定研究论文，通过高级数据增强方法解决社交媒体数据不平衡问题，并借助 BERT 模型指导 LLMs，提出了一种用于公共卫生的社交媒体分析的新型 ALEX 框架，在 Social Media Mining for Health 2023 (SMM4H) 竞赛中表现优越。

    Sep, 2023

  • UQ 在 #SMM4H 2023 中：利用社交媒体进行公共卫生分析的 ALEX

    通过采用具有 LLMs 解释机制的 ALEX 架构，本研究旨在提高社交媒体上公共卫生分析的性能，结果表明我们的 ALEX 模型在 Social Media Mining for Health 2023 (SMM4H) 的所有任务中获得了最佳表现，并在任务 1 中获得了高分。

    Sep, 2023

  • 使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

    我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

    Mar, 2024

  • 提升社交媒体内容中健康提及检测的语言模型能力的独特训练策略

    通过随机加权干扰和对比学习策略培训语言模型，并提出元预测器以区分社交媒体文本中的非健康和健康相关类别，实验证明该策略提高了语言模型的性能，元预测器在三个基准数据集上优于现有的健康提及分类预测器。

    Oct, 2023

  • MentalBERT：用于心理保健的公开预训练语言模型

    本文介绍了 MentalBERT 和 MentalRoBERTa 两种针对精神保健领域预训练的掩码语言模型，并对其和其他预训练语言模型在几个精神障碍检测基准测试中进行了评估，证明针对目标领域预训练的语言表示有助于提高精神健康检测任务的性能。

    Oct, 2021

  • 运用深度学习简化社交媒体信息检索，为公共卫生研究提供服务

    本研究介绍了一种基于 BERT 的命名实体识别（NER）模型，一个深度学习规范化模块以及一个半监督聚类模块构建的框架，用于从社交媒体中提取与 COVID-19 相关的症状词典，并对其进行标准化，以减少在基于社交媒体的公共卫生研究中的关键词匹配信息检索约束。

    Jun, 2023

  • 评估大型语言模型用于公共卫生分类和提取任务

    基于对 LLMs 在公共卫生任务中的自动评估，将六个外部注释数据集与七个新的内部注释数据集相结合，评估 LLMs 在处理与健康负担、流行病学危险因素和公共卫生干预相关的文本中的性能，发现 Llama-3-70B-Instruct 是性能最好的模型，在 15 个任务中取得最佳结果。这些初步结果表明，LLMs 可能成为公共卫生专家从各种免费文本来源中提取信息，并支持公共卫生监测、研究和干预的有用工具。

    May, 2024

  • DrBERT：一种健壮的法语医学临床领域预训练模型

    对 PLMs 在医学领域的表现进行了比较，提出了一种在法语领域预先训练 DrBERT 模型的方法，并且发布了该领域专用的 PLMs。

    Apr, 2023

  • 中文心理 BERT：面向社交媒体的中文心理健康文本分析的领域自适应预训练

    本研究针对心理学领域缺乏定制的预训练模型，从中国社交媒体平台收集了 3.36 百万条文本，并加入心理学词典进行预训练改进，通过自适应训练开发出专门用于心理领域的模型，实验结果表明该模型在四个公共基准测试中表现优越且能够做出心理相关的预测。因数据隐私担忧，数据集不对公众开放，但预训练模型和代码可通过指定的链接公开获取。

    Feb, 2024

  • 利用基于提示的大型语言模型：通过社交媒体语言预测流行病健康决策和结果

    我们使用基于提示的语言模型引入了一种多步推理框架，以检测社交媒体语言模式与国家健康状况趋势之间的关系，通过基于角色的增量辅导（RBIC）这种基于提示的语言模型框架，系统提取来自反对 COVID-19 健康措施的子论坛讨论中的要点，然后跟踪这些要点在关键事件中的演变，并评估其对在线参与的影响，最后调查要点数量与疫苗接种率和住院率等国家卫生趋势的关联，我们的工作是首次将社交媒体语言模式与现实世界的公共卫生趋势相联系，突出了基于提示的语言模型在识别形成公共卫生传播策略基础上的关键在线讨论模式的潜力。

    Mar, 2024