Mar, 2024

KG-Rank: 基于知识图谱和排序技术增强医学问答的大型语言模型

PDF
TL;DR本研究开发了一个增强的 LLM 框架 KG-Rank，利用医学知识图谱和排名技术，旨在改善医学领域中的自由文本问答。评估结果显示，KG-Rank 在 ROUGE-L 得分上取得了超过 18% 的改进，证明了 KG-Rank 的有效性和潜力。
large language modelsllmskg-rankmedical knowledge graphquestion-answering
发现论文，激发创造
  • 将医学知识图谱结合到大型语言模型中用于诊断预测

    通过结合医学知识图谱和新颖的图模型 Dr.Knows，我们提出一种创新的方法来提高大型语言模型在自动诊断生成领域的能力，从而消除预训练的需要，提高自动诊断生成的准确性。

    Aug, 2023

  • 图增强的学习排序用于查询大规模知识图谱

    提出了一种基于子图分区的图增强学习排序模型，该模型整合了子图匹配网络和增强双边多角度匹配模型，用于知识图谱问答中的答案选择。在多个基准数据集上的实验结果表明，该方法具有很好的效果。

    Nov, 2021

  • 检索 - 改写 - 回答：一种对知识图谱问题回答增强语言模型的框架

    尽管大型语言模型在知识密集型任务上表现出竞争力，但它们仍存在于记忆所有世界知识，尤其是长尾知识方面的局限性。本文研究了用于解决知识图谱问答任务的知识图增强语言模型方法。基于回答敏感的 KG-to-Text 方法，我们提出了一种将 KG 知识转化为对 KGQA 最有信息量的文本化陈述的方法，并基于此方法提出了一种 KG-to-Text 增强的 LLMs 框架来解决 KGQA 任务。在几个 KGQA 基准测试上的实验证明了所提出的 KG-to-Text 增强 LLMs 方法在回答准确性和知识陈述的有用性方面优于先前的 KG 增强 LLMs 方法。

    Sep, 2023

  • 利用 LLM 在学术知识图谱问答中的优化

    使用大型语言模型，该研究论文介绍了一种学术知识图谱问答（KGQA）系统，通过少量示例解决书目自然语言问题。模型使用基于 BERT 的句子编码器来识别与给定测试问题相关的前 n 个相似训练问题，并检索它们对应的 SPARQL 查询。利用前 n 个相似问题 - SPARQL 对作为示例以及测试问题创建提示，并将其传递给大型语言模型以生成 SPARQL 查询。最后，在底层知识图谱（Open Research KG）端点上运行 SPARQL 查询并返回答案。该系统在 Scholarly-QALD-23 挑战基准中的 SciQA 数据集上获得了 99.0% 的 F1 分数。

    Nov, 2023

  • 大型语言模型的生物医学知识图增强提示生成

    提出了一种融合知识图谱和大型语言模型的框架，通过优化方式，增强了通用型语言模型适应处理领域特定问题的能力。

    Nov, 2023

  • 基于伪知识图谱与多源知识图谱的大型语言模型增强在开放式问答中的应用

    采用伪图生成和原子知识验证相结合的框架，实现了在开放式问题回答环境中利用知识图谱 (KG) 增强大型语言模型 (LLM)，对于开放式问题的 ROUGE-L 得分至少提高 11.5，对于精确问题的准确度至少提高 7.5，并展示了在不同 KG 来源下的泛化能力。

    Feb, 2024

  • MedREQAL: 通过问答方式检验大型语言模型对医学知识的记忆能力

    近年来，大型语言模型（LLMs）在大文本语料库的预训练过程中展示了令人印象深刻的知识编码能力。本研究通过构建一个新的基于系统评述的数据集，评估了六种 LLMs（如 GPT 和 Mixtral）在医学知识回忆方面的能力，并揭示了此任务的复杂性。

    Jun, 2024

  • K-QA：实际医疗问答基准

    通过构建 K-QA 数据集，使用自然语言处理模型评估，在临床环境中确保大型语言模型提供的回答的准确性至关重要。

    Jan, 2024

  • MedExpQA: 多语言大型语言模型在医疗问题回答方面的基准评估

    该论文介绍了 MedExpQA，一个基于医学考试的多语言基准，用于评估大型语言模型在医学问答中的表现，并指出目前大型语言模型的性能还有很大的改进空间，特别是对于英语以外的语言。同时，该研究还强调了获取和整合可用的医学知识对于医学问答的后续评估结果具有困难，并呼吁进一步开发其他语言的基准。

    Apr, 2024

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024