Jul, 2023

使用大型语言模型进行生物医学知识提取的精馏：以药物不良反应为例的案例研究

PDF
TL;DR该论文研究了如何使用基于自我监督学习的蒸馏模型，以大幅提高大型语言模型在生物医学知识整理和提取方面的效率和准确性。在药物不良事件提取等主要医学知识提取任务上，这种方法大大超越了标准模型，并具有成本效益和访问模型内部结构等优点。
large language modelsbiomedical knowledge curationade extractiondistillation modelself-supervised learning
发现论文，激发创造
  • 基础大型语言模型能辅助进行制药生产调查吗？

    利用历史记录，将大型语言模型（LLM）应用于制药生产调查，提取特定信息并进行语义搜索。

    Apr, 2024

  • 大型语言模型蒸馏药物推荐模型

    利用大型语言模型（LLMs），本文提出了一种名为 LEADER 的新方法，通过创建适当的提示模板和特征级知识蒸馏技术，将现有的药物推荐方法转化为更加高效和精确的形式。

    Feb, 2024

  • 大规模语言模型、科学知识与真实性：一项抗生素发现的系统分析

    本文研究了使用大型语言模型（LLMs）对话生物医学背景知识以及从大量的科学文献中提取信息的潜力，以抗生素发现为例，系统评估了 9 种最先进的模型在生成化合物定义和确定化合物 - 真菌关系方面的能力，并发现虽然最新模型在流畅度方面得到了改善，但其事实准确性仍然很低，而且模型存在偏向于过度呈现某些实体的问题。

    May, 2023

  • 将大型语言模型凝聚用于将患者匹配到临床试验

    探究专有和开源大型语言模型在患者试验匹配任务中的有效性，并证明在有限和合成数据集上进行微调后，开源模型与专有模型性能相当，从而为它们在实际医疗应用中的部署提供了巨大机会。

    Dec, 2023

  • AE-GPT: 使用大型语言模型从监测报告中提取不良事件 - 以流感疫苗不良事件为案例

    利用 1990 年至 2016 年之间的 Vaccine Adverse Event Reporting System (VAERS) 数据，本研究重点评估了大型语言模型（LLMs）在不良事件（AEs）提取方面的能力，其中包括 GPT-2，GPT-3 变体，GPT-4 和 Llama 2 等多种流行 LLMs。其中，经过微调的 GPT 3.5 模型（AE-GPT）在严格匹配方面取得了 0.704 的平均微 F1 分数，松弛匹配方面为 0.816。AE-GPT 的鼓舞人心的表现突出了 LLMs 在处理医疗数据方面的潜力，标志着在高级 AE 检测方面又迈出了重要一步，因此可能推广到其他 AE 提取任务。

    Sep, 2023

  • 通过知识蒸馏和优化训练策略提高自然语言处理任务性能的大型语言模型

    该研究将大型语言模型（LLMs）如 GPT-4 与传统自然语言处理（NLP）任务相结合，利用思维链（CoT）提示技术从 GPT-4 中提取知识，并应用于改进较小模型 BERT 在命名实体识别（NER）任务中的效率和效果。通过采用两阶段训练过程，该方法在预训练阶段使用 GPT-4 标注数据，并结合蒸馏和原始人标注数据来完善模型。结果表明，我们的混合训练策略明显优于仅使用人工标注的模型，达到了更高的 F1 得分，并展示了在资源有限或封闭网络环境下的成本效益解决方案。研究还讨论了遇到的挑战，如 LLM 输出的可变性和偏向幻觉，提出了改进提示设计和注释选择的未来工作方向。我们的发现显示出 LLM 洞察力与传统 NLP 技术之间的有希望的协同作用，为更易于接近和强大的 NLP 应用铺平了道路。

    Feb, 2024

  • 生物医学自然语言处理中的大型语言模型：基准、基线和建议

    本研究通过实验验证了 GPT-3 和 GPT-4 在 8 个 BioNLP 应用中的性能表现，并对其识别错误进行了分析，提出了在 BioNLP 应用中使用 LLMs 的建议。

    May, 2023

  • 小数据场景中高效自然语言理解的生成 - 蒸馏方法

    通过 generation-distillation 训练方法，利用大型 fine-tuned 语言模型生成无标签训练数据，通过知识蒸馏技术将这些数据的知识转移给小型网络，从而缩小了预先训练 LM 和小型特定任务模型之间的性能差距，实现了使用更少的参数（仅为 BERT 的 300 倍）达到与 BERT 可比的性能。

    Jan, 2020

  • 结构化知识库在大型语言模型中优化元数据整理的应用

    通过对 200 个描述肺癌人样本的 NCBI BioSample 数据记录进行实验，评估 GPT-4 对于符合元数据标准的建议编辑能力，并通过同行评审过程计算了字段名 - 字段值对的符合精确度，发现辅助 GPT-4 以 CEDAR 模板的文本描述作为领域信息，从 79% 提高到 97%（p<0.01），结果表明 LLMs 与结构化知识库整合后，可以在自动化元数据管理中显示出希望。

    Apr, 2024

  • PharmGPT：面向生物制药和化学领域的特定领域大型语言模型

    PharmGPT is a suite of multilingual LLMs specifically trained on a comprehensive corpus tailored to the Bio-Pharmaceutical and Chemical sectors, demonstrating exceptional capability in domain-specific tasks, addressing the existing gap in specialized language modeling, and paving the way for more effective applications of NLP in specialized domains.

    Jun, 2024