SPEER:通过嵌入式实体检索进行长临床摘要的句子级规划
本研究探讨了专有和本地大型语言模型在基于标记的临床实体识别中的有效性,挖掘了这些模型在零样本提示、少样本提示、检索增强生成以及指令微调等实验中面临的困难,并提出了在医疗保健领域中应用大型语言模型的可能改进方法。
Jun, 2024
使用医学实体定义的句子嵌入(MED-SE)方法,是一种新颖的无监督对比学习框架,用于临床文本,可在医学实体中心设置下获得更好的性能,在临床和常规领域的文本之间存在固有差异,因此实体中心的对比方法可以弥合这个差距,并产生更好的临床句子表示。
Dec, 2022
通过全面的实证评估,我们表明在生物医学文本中,受监督的微调方法仍然相关且比通用性的大型语言模型更有效,如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。
Apr, 2024
通过将大型语言模型(LLMs)应用于生物医学命名实体识别(NER)任务,将 NER 任务分解为实体跨度提取和实体类型确定两个步骤,同时注入实体知识以解决 LLM 在预测实体类别时缺乏领域知识的问题,实验证明了我们的两步 BioNER 方法相对于之前的少样本 LLM 基线在性能上有显著提高,而引入外部知识则显著增强了实体类别确定性能。
Sep, 2023
本文研究了使用链接实体以指导神经文本摘要器生成简洁更好摘要的方法,并提出了 Entity2Topic (E2T) 方法。通过 E2T 应用于基于 Aufmerksamkeit 机制的简单序列到序列模型,在 Gigaword 和 CNN 摘要数据集上至少获得 2 个 ROUGE 点的显著性能提升。
Jun, 2018
本文提出了一种基于实体驱动事实感知的框架,用于训练端到端的基于 Transformer 的编码 - 解码模型以摘要生物医学文章。在使用知识库中的命名实体和事实进行指导的情况下,EFAS 能够实现比标准源文档到摘要设置更准确的实体级事实准确性、N-gram 新颖性和语义等价性,而 ROUGE 指标的表现相当。
Mar, 2022
通过稀疏检索方法和基于 ELECTRA 的关键词提取器,提出了一种改进的实体链接方法以精确连接知识库中的模糊提及,对于限定领域的有限标注数据,实验证明该方法在 ZESHEL 数据集上明显优于现有模型,在所有测试领域中表现出关键词增强稀疏检索的有效性。
Oct, 2023
使用软提示的模型无关软校准 (SPec) 管道可降低输出方差,同时保留提示式摘要的优点,并有效增强大型语言模型的性能,为临床笔记的摘要提供了更可靠的解决方案。
Mar, 2023
本文旨在比较小型预训练模型和大型预训练模型在医疗 Few-shot NER 任务中的性能,并探索一种有效的实体识别器,称为检索和思考(RT)框架,该框架在 16 个 NER 模型上进行的实验表明,LLMs 在 Few-shot 医疗 NER 任务中的性能优于 SLMs,但其中仍存在一些挑战。
Jul, 2023
本文提出了一种基于生成式框架的文档级实体提取方法,该方法能够高效地捕获跨多实体的相关信息,使用了一种名为 TopK Copy 的交叉注意力引导复制机制,实验结果表明此方法达到了科技论文数据集上的新的最优结果。
Sep, 2021