Jun, 2023

利用少样本学习的提示式提取社会卫生因素

PDF
TL;DR本文使用 SHAC 数据集中的社交史部分，采用 GPT-4 的一次性提示設置探索 SDOH 信息的自动提取，其中包括物質使用，就业和生活状况信息，和采用高性能监督方法将 GPT-4 提取性能与其进行比较，并进行彻底的错误分析。GPT-4 的提示方法在 SHAC 测试中获得了总体 0.652 的 F1，类似于 n2c2 挑战中最好的 7 个系统之一
发现论文，激发创造
  • 利用大型语言模型从儿科患者记录中提取社会健康决定因素：新型语料库和方法

    社会卫生决定因素（SDoH）在塑造健康结果方面起着关键作用，特别是在儿科人群中，干预措施可能具有长期影响。本研究提出了一个新的标注语料库，儿科社会历史标注语料库（PedSHAC），并使用经过精细调优和上下文学习方法结合大型语言模型（LLMs）来评估详细的 SDoH 表征的自动提取。PedSHAC 包括从华盛顿大学医院系统的儿科患者的 1,260 个临床记录中获取的已标注的社会历史部分。采用一个基于事件的标注方案，PedSHAC 涵盖了十个不同的健康决定因素，包括生活和经济稳定性、先前的创伤、教育机会、物质使用历史和心理健康，整体标注一致性为 81.9 F1。我们提出的精细调整的基于 LLM 的提取器以 78.4 F1 的事件参数高性能实现。搭配 GPT-4 的上下文学习方法在有限的标注示例情况下展现了可靠的 SDoH 提取的前景，事件触发器的提取性能达到 82.3 F1。

    Mar, 2024

  • 2022 年 n2c2/UW 社会决定因素健康提取共享任务

    本文介绍了 n2c2/UW SDOH 挑战的共享任务、数据、参与团队、性能结果以及未来工作的考虑，并探讨了使用自然语言处理技术和预训练的语言模型提取 SDOH 和临床信息的前景。

    Jan, 2023

  • 利用大型语言模型识别电子健康档案中的社会决定因素

    本研究使用大型语言模型从电子健康记录中提取社会健康决定因素（SDoH），并研究了合成临床文本对提取这些临床数据的改进作用。最佳模型是经过微调的 Flan-T5 XL（宏 F1 值为 0.71）任何 SDoH 和 Flan-T5 XXL（宏 F1 值为 0.70）。这些模型优于 ChatGPT 系列模型在任务中的零样本和少样本性能，并且对种族 / 民族和性别描述词的预测不太可能改变，表明较少的算法偏见（p<0.05）。在患者层面上，我们的模型识别出 93.8% 存在不良 SDoH 的患者，而 ICD-10 代码只能覆盖 2.0%。我们的方法能有效地从临床记录中提取 SDoH 信息，相对于 GPT 的零样本和少样本设置更加优秀。这些模型可以增强关于 SDoH 的现实世界证据，并帮助识别需要社会支持的患者。

    Aug, 2023

  • 从临床叙述中提取健康社会决定因素的任务制定

    该研究介绍了三种系统， 分别使用机器学习分类器、 大型语言模型和机器学习候选短语与手工规则相结合的方式， 达到识别临床叙述中社会健康影响因素 (SSOH) 的目的；三种方法在 NLP Challenge 中的 Subtask A 上获得 F1 分数分别为 0.884、 0.831 和 0.663， 结果表明每个方法在实际应用中都有优点和缺点， 其选择不仅取决于 F1 分数， 还取决于应用的要求。

    Jan, 2023

  • SDOH-NLI：从医疗记录中推断卫生社会因素的数据集

    该研究介绍了一个新的数据集 SDOH-NLI，基于公开可用的笔记，通过将社会和行为决定因素提取为自然语言推理任务，从而帮助健康护理提供者系统地识别提供适当护理和解决差异的机会。

    Oct, 2023

  • 零样本学习：使用 GPT 模型从临床记录中提取社会因素和家族史的最小指令

    通过提供最少的信息给 GPT 模型，我们研究了在电子健康记录的非结构化文本中记录的人口统计学、社会健康决定因素和家族史信息，我们探索了两组评估指标来完全理解 GPT 模型的性能，我们结果表明，GPT-3.5 方法在人口统计学提取上达到了 0.975 的平均 F1 得分，在社会健康决定因素提取上达到了 0.615 的平均 F1 得分，在家族史提取上达到了 0.722 的平均 F1 得分，我们相信这些结果可以通过模型微调或少样本学习进一步改进，并且通过案例研究，我们还发现了 GPT 模型的局限性，需要在未来的研究中加以解决。

    Sep, 2023

  • 通过提示调节提高大型语言模型提取社会健康决定因素的泛化能力

    利用软提示学习架构，该研究提出了一种新的方法来引导大型语言模型实现对患者信息的提取，评估了两种类型的语言模型在跨领域应用中的性能，并发现使用解码器模型进行软提示调优的结果更好。GatorTronGPT 在最佳 F1 得分上超过传统的 GatorTron 模型，分别在跨机构环境中提高了 8.9% 和 21.8%，在跨疾病环境中提高了 5.5% 和 14.5%。

    Mar, 2024

  • 评估社会因素对健康预测的影响

    本研究将公共可用的电子病历数据库 MIMIC-IV 与健康社会决定因素（SDOH）特征进行关联，调查这些特征对不同病人群体常见电子病历预测任务的影响，发现社区水平的 SDOH 特征在一般病人群体中无法提高模型性能，但能提高特定亚人群的数据有限模型的公平性；同时，表明 SDOH 特征对于进行超越保护性属性的算法偏见全面审计至关重要。我们希望新的集成型电子病历 - SDOH 数据库能够启动有关社区健康与个人结果之间关系的研究，并提供全新的用于研究超越种族、性别和年龄等算法偏见的基准。

    May, 2023

  • 基于遗传算法的临床 BioBERT 超参数优化

    本研究旨在从临床笔记中提取具有社会健康决定因素的句子，并利用名为 SOHO 的 SDoH 本体提供适当的概念。我们使用深度学习的最新进展来优化 Clinical BioBERT 模型的超参数，实现了基于遗传算法的超参数调整。通过将 Clinical BioBERT 与两个线性层和两个 dropout 层进行流水线处理，我们实现了完整的分类器。在实验中，我们比较了 AdamW，Adafactor 和 LAMB 优化器。结果表明，AdamW 在准确性方面表现最佳。

    Feb, 2023

  • 探索社会健康因素的临床社工笔记主题建模

    通过对 0.95 百万份社会工作者记录的词频分析和 LDA 主题建模分析，本文确定了社会卫生风险因素的 11 个主题，包括财务状况、虐待史、社会支持、死亡风险和心理健康等，证明了社会工作者提供了个人社会决定因素上富有独特性和不可获得性的信息。

    Dec, 2022