Dec, 2023

基于上下文学习、微调和监督学习的生物医学知识整理的基准测试与分析：以生物学相关化学实体为例的一项专项研究

PDF
TL;DR自动化知识整理对于生物医学本体论至关重要，本研究比较和分析了三种自然语言处理范式（ICL、FT 和 ML）在整理任务中的效果，结果显示在特定数据情景下，ICL 表现出色，而 ML 和 FT 则需要任务特定的数据来超越 ICL。
automated knowledge curationbiomedical ontologiesnlp paradigmsiclml/ft
发现论文，激发创造
  • 爱丁堡临床自然语言处理在 SemEval-2024 任务 2 中：在没有使用 GPT-4 的情况下优化您的模型

    通过合并使用三元组和语言建模目标单独进行微调的适配器，提出了一种用于改进大型语言模型（LLMs）一致性的 PEFT 方法。然而，与 GPT-4 相比，我们的新方法在忠实度和一致性方面没有产生更准确的结果。综合三个度量指标，GPT-4 在比赛中以 0.8328 的分数并列第一。最后，通过与 GPT-4 的污染分析，表明没有测试数据泄露。

    Mar, 2024

  • 反思 GPT-3 在生物医学信息提取中的上下文学习

    本研究比较了 GPT-3 和较小的预训练语言模型在少样本情况下在生物医学信息提取的性能，结果显示 GPT-3 的性能显著低于较小的预训练模型，同时对于信息提取任务可能会存在问题。因此作者建议在生物医学领域使用较小的预训练语言模型进行微调。

    Mar, 2022

  • 从生物医学文献中进行意图识别和实体提取

    通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

    Apr, 2024

  • 对大型语言模型进行少样本多语言 NLU 分析与适应：如今已经达到目标了吗？

    三种常用方法，即监督微调、监督指令微调和上下文学习，是少样本学习的三种替代方法。本文对这三种方法进行了广泛而系统的比较，测试了六种高低资源语言、三种不同的 NLU 任务以及各种语言和领域设置。观察结果显示，监督指令微调在性能和资源需求方面具有最佳平衡性。此外，本文还分析了预训练 LLM 的目标语言适应性，并发现标准适应方法能在表面上提高目标语言生成能力，但经 ICL 引发的语言理解并未改善且受限，尤其是对于低资源语言而言，得分较低。

    Mar, 2024

  • 探索大型语言模型在生物医学概念链接中的上下文学习能力

    该研究旨在探讨基于大型模型的上下文学习能力，应用检索与排名框架的方法，以实现生物医学概念链接，并在 BC5CDR 疾病实体标准化和化学实体标准化方面取得了 90% 和 94.7% 的准确率，相对于监督学习方法表现出竞争力， F1 分数有 20 个绝对点的显著提高，深入评估了在生物医学领域使用大型语言模型的优点和潜在局限性。

    Jul, 2023

  • 论文标题：上下文学习和微调 GPT 用于论证挖掘

    大型语言模型 (LLMs) 在自然语言处理和深度学习领域已变得无处不在。我们介绍了一种基于 In-Context Learning (ICL) 的策略，结合 kNN-based examples selection 和 majority vote ensembling 来解决 Argument Type Classification (ATC) 的任务。在无需训练的 ICL 设置中，GPT-4 可以仅从少量示例中获取相关信息，并在 ATC 上达到很高的分类准确率。在引入文本形式的良构结构特征的 fine-tuning 策略中，GPT-3.5 在 ATC 上达到了最新的性能水平。总体而言，这些结果强调了 LLMs 在原始文本的离线和微调设置中理解全局论证流程的新能力。

    Jun, 2024

  • 基于监督和自组织的上下文学习任务表现和模型校准

    探索了标准的有监督微调（SFT）和上下文学习（ICL）两种方法在低资源环境中存在的过度自信和误校准问题，提出了使用自我集成技术来增强预测校准性和性能，为选择学习范式以及如何提升大语言模型的任务性能和校准性提供了具体指导。

    Dec, 2023

  • GersteinLab 参加 MEDIQA-Chat 2023：通过微调和上下文学习从医患对话中进行临床笔记总结

    本文利用 GPT-3 和 GPT-4 两种方法，并使用 RoBERTa 和 SciBERT based classification models，以 MEDIQA-2023 Dialogue2Note shared task 为案例，解决对话摘要的问题，并在 ROUGE-1 F1, BERTScore F1 (deberta-xlarge-mnli) 以及 BLEURT 等指标上表现良好，代码可供使用。

    May, 2023

  • 探索生物医学语言处理中指令调整的有效性

    利用指令调整（instruction tuning）技术，对两个规模庞大的通用语言模型进行研究，以期在生物医学自然语言处理任务上取得类似于 BioBERT 和 BioClinicalBERT 等特定编码器模型的结果，并提供了相应的代码、模型和基于指令的数据集。

    Dec, 2023

  • 大规模语言模型、科学知识与真实性：一项抗生素发现的系统分析

    本文研究了使用大型语言模型（LLMs）对话生物医学背景知识以及从大量的科学文献中提取信息的潜力，以抗生素发现为例，系统评估了 9 种最先进的模型在生成化合物定义和确定化合物 - 真菌关系方面的能力，并发现虽然最新模型在流畅度方面得到了改善，但其事实准确性仍然很低，而且模型存在偏向于过度呈现某些实体的问题。

    May, 2023