Dec, 2023

运用适配器模块和知识图谱拓宽生物医学语言模型的知识增强

PDF
TL;DR本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。
natural language processingknowledge-enhanced language modelsbiomedical nlpbiomedical knowledge graphsadapter modules
发现论文，激发创造
  • 使用知识优化生物医学预训练语言模型

    提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

    Apr, 2021

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 利用知识图谱将领域知识融入医疗自然语言推理

    本文研究如何将医学语言模型（BioELMo）的结构与医学任务中可用的知识图谱（UMLS）进行融合，通过实验验证结论表明融合策略不仅仅是可以改善 MedNLI 数据集上的 BioELMo 模型的基线表现，而且在医疗领域的任务中也导致了最前沿的结果。

    Aug, 2019

  • 基于引导式知识融合的生物医学文档再排序语言模型强化

    本文提出了一种方法，旨在通过集成先验知识和先前训练的语言模型来辅助实现从外部来源获取信息和检索正确文件的目标，在两个生物医学领域的数据集上的实验表明，该方法显著提高了文档重新排序任务的效果。

    May, 2023

  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • 提高多语言知识和文本建模能力的适配器

    本文提出了在多种语言中增强多语言知识图谱 (MLKGs) 的多语言语言模型 (MLLMs) 的轻量级适配器，以利用跨语言实体对齐和从 MLKGs 中获取事实，并在共同基准实验中展示了该增强模型在语言理解任务和知识图谱任务方面的性能优势。

    Oct, 2022

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 语言模型能成为医学知识库吗？

    通过创建生物医学知识三元组的基准测试 BioLAMA，研究了预训练语言模型是否可用作具有生物医学特定领域知识的知识库。发现在近期提出的探测方法下，生物医学语言模型可以在检索生物医学知识方面取得 18.51% 的精确度，但多数预测与无主题的提示模板高度相关，因此限制了它们作为特定领域知识库的能力。

    Sep, 2021

  • 结合预训练语言模型和结构化知识

    本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

    Jan, 2021

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023