Oct, 2023

提升社交媒体内容中健康提及检测的语言模型能力的独特训练策略

PDF
TL;DR通过随机加权干扰和对比学习策略培训语言模型，并提出元预测器以区分社交媒体文本中的非健康和健康相关类别，实验证明该策略提高了语言模型的性能，元预测器在三个基准数据集上优于现有的健康提及分类预测器。
social media contenthealth-related contentlanguage modelsrandom weighted perturbationmeta predictor
发现论文，激发创造
  • 用于推特健康提及分类的多种语言模型训练的新方法

    本文提出了一种新的方法，使用对抗训练和对几个级别的 transformer 模型中的推文示例的表示进行高斯噪声扰动生成对抗性示例来训练语言模型，以进行卫生提及分类。添加噪声到较早的层有助于提高模型性能，而添加中间层的噪声会降低模型性能。最后，在最终层添加噪声比在中间层添加噪声表现更好。

    Apr, 2022

  • 社交媒体上个人健康提及检测的多任务学习

    采用多任务学习框架，通过使用情感检测作为辅助任务，利用相关任务中可用的标注数据来提高社交媒体文本中个人健康体验检测的性能，从而显著提高了个人健康提及检测任务的范围与强大状态下的基线相比。

    Dec, 2022

  • 通过临床问卷学习实现简单灵活的精神障碍检测模型

    研究了使用社交媒体的语言特征来检测心理健康问题，并提出了一种能够有效利用领域知识、可被应用于其他心理障碍以及能够提供可解释检测结果的模型。

    Jun, 2023

  • 通过自我增强和对比学习提高社交媒体文本中的疾病检测

    该研究提出了一种新的方法，将对比学习与语言模型相结合，通过自我增强方法改进模型的表示，并在与各种疾病相关的社交媒体数据集上取得了显著的改进。

    Apr, 2024

  • 使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

    我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

    Mar, 2024

  • 口语文本中的实体识别

    我们研究了基于 BERT 模型的多种训练策略，旨在从口语化文本中识别出医疗领域的症状，并通过一系列实验发现了与这些训练策略相关的模型行为模式，提出了有效识别口语化文本中实体的训练策略设计原则。

    Jan, 2024

  • UQ 在 #SMM4H 2023 中：利用社交媒体进行公共卫生分析的 ALEX

    通过采用具有 LLMs 解释机制的 ALEX 架构，本研究旨在提高社交媒体上公共卫生分析的性能，结果表明我们的 ALEX 模型在 Social Media Mining for Health 2023 (SMM4H) 的所有任务中获得了最佳表现，并在任务 1 中获得了高分。

    Sep, 2023

  • 运用深度学习简化社交媒体信息检索，为公共卫生研究提供服务

    本研究介绍了一种基于 BERT 的命名实体识别（NER）模型，一个深度学习规范化模块以及一个半监督聚类模块构建的框架，用于从社交媒体中提取与 COVID-19 相关的症状词典，并对其进行标准化，以减少在基于社交媒体的公共卫生研究中的关键词匹配信息检索约束。

    Jun, 2023

  • 大规模语言模型的公共卫生平衡和可解释的社交媒体分析

    给定研究论文，通过高级数据增强方法解决社交媒体数据不平衡问题，并借助 BERT 模型指导 LLMs，提出了一种用于公共卫生的社交媒体分析的新型 ALEX 框架，在 Social Media Mining for Health 2023 (SMM4H) 竞赛中表现优越。

    Sep, 2023

  • 基于社交媒体的深度学习方法在精神健康预测中的应用

    通过深度学习模型检测社交媒体用户的心理状况，可以更好地理解疾病并提供早期发现的手段。基于分层注意力网络的二元分类任务预测用户是否患有九种不同疾病中的一种，在四种疾病中表现出比先前设定的基准更高的性能，并通过检查模型的单词级注意权重分析分类相关的短语的限制。

    Mar, 2020