Oct, 2023

使用条件 Transformer 生成医疗指导

PDF
TL;DR通过提供标签（例如药物词汇表和属性），我们介绍了一种新的任务特定模型体系结构 Label-To-Text-Transformer（LT3），专门用于生成基于提供的标签的合成医疗指令。我们通过与最先进的预训练语言模型（PLM）T5 进行对比，评估了 LT3 的性能，并分析了生成文本的质量和多样性。我们使用生成的合成数据对 SpacyNER 模型进行了训练，用于在 n2c2-2018 数据集上进行命名实体识别（NER）任务。实验结果表明，使用合成数据训练的模型在药物、频率、途径、强度和形式的标签识别上可以达到 96-98％的 F1 分数。
medical instructionslabel-to-text-transformer (lt3)synthetic medical instructionspre-trained language model (plm)named entity recognition (ner)
发现论文，激发创造
  • 基于 Medically Aware GPT-3 的医学对话摘要数据生成器

    通过利用 GPT-3 作为算法骨干并采用低样本学习和集成方法，我们介绍了一种算法来创建合成训练数据，以明确关注捕捉医学相关信息，结果相当于采用 6400 个人标记的示例，能够制作出高质量的摘要，就医学准确性和连贯性而言，这种方法产生的摘要明显优于单纯使用人工标记数据进行训练的模型生成的摘要。

    Sep, 2021

  • 生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

    通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

    Dec, 2023

  • 基于 Transformer 深度学习架构的上下文化药物信息提取

    研究开发了自然语言处理（NLP）系统，用于从临床叙述中提取上下文药物信息，证明大型转换模型的优势。

    Mar, 2023

  • 低语言模型 (Synthetic Data Generation of LLMs) 是否有助于临床文本挖掘？

    本研究旨在探究将 ChatGPT 应用于临床文本挖掘中，针对生物命名实体识别和关系抽取，我们提出了一种基于生成大量合成数据进行本地模型微调的训练范式。结果表明，这种方法显著提高了下游任务的性能，同时缓解了数据隐私问题。

    Mar, 2023

  • 生成、标注和学习：合成文本的自然语言处理

    该研究探讨了使用语言模型作为一种合成无标注文本的来源来进行自然语言处理，并提出了 “生成、注释和学习（GAL）” 的通用框架，通过对合成文本进行知识蒸馏、自训练和少样本学习应用来生成高质量特定任务文本，最终在多个应用中取得了显著的收益。

    Jun, 2021

  • 合成电子病历文本生成

    该研究提出了一种基于机器学习和自然语言处理的方法，叫做 mtGAN，用于生成电子病历文本数据，以解决医疗数据难以获得、保密性高的问题，并在中文电子病历文本数据集上进行了评估，取得了一定的成果。

    Dec, 2018

  • 知识注入引导：基于大型语言模型的临床文本数据生成评估与推进

    通过结合临床领域特定知识图谱和大语言模型，在临床自然语言处理中提出了一种创新、资源高效的方法 ClinGen，通过临床知识提取和上下文信息化的大语言模型指导数据生成，持续提升性能，对生成训练实例的多样性和真实数据分布进行有效调整。

    Nov, 2023

  • 医学研究与健康保健的生成式大型语言模型研究

    本文使用 2770 亿行混合临床和英文文本的 GPT-3 架构，开发了一种名为 GatorTronGPT 的临床生成 LLM，以提高医学研究的生物医学自然语言处理。通过使用 GatorTronGPT 训练的合成自然语言处理模型的生成文本，性能优于使用现实临床文本训练的模型。在医生的图灵测试中，医生不能区分 GatorTronGPT 所生成的文本和人类所生成的文本。该研究为 LLMs 在医学研究和医疗保健中的机遇和挑战提供了深入的见解。

    May, 2023

  • 通过语言模型生成的合成临床数据提高临床 NLP 性能

    利用生成模型生成的合成数据，本研究探讨了利用合成数据提高临床自然语言处理性能的方法。结果显示在这个高风险领域中有可行的应用前景。

    Mar, 2024

  • 利用大型语言模型生成合成数据以提高基于 BERT 的神经网络的性能

    利用大型语言模型（LLMs）生成的合成观察数据，用于改善机器学习模型对于自闭症谱系障碍（ASD）诊断的准确性。通过评估 ChatGPT 和 GPT-Premium 生成的 4,200 个合成观察数据，并使用预训练于生物医学文献的 BERT 分类器比较模型之间的性能差异，发现数据增加了召回率 13%，但降低了精确度 16%。未来的研究将分析不同合成数据特征对机器学习结果的影响。

    May, 2024