Sep, 2023

使用结构化医学知识库对大型语言模型进行知识调整，以提高中文可靠性的响应生成

PDF
TL;DR为了解决大型语言模型（LLM）在医学领域中知识局限导致产生虚假医学事实的困境，本研究提出了知识调整的方法，利用结构化的医学知识库帮助 LLMs 有效掌握领域知识，从而实现可靠的回答生成。通过引入基于医学知识库构建的中文医学知识问答数据集 cMedKnowQA，实验结果表明，经过 cMedKnowQA 知识调整的 LLMs 在回答生成上表现出更高的准确性，为 LLMs 的领域适应提供了可靠的新途径。
发现论文，激发创造
  • 知识感知的大语言模型微调

    使用知识感知微调（KnowTuning）方法解决大型语言模型在自然语言处理任务中的知识感知不足问题，并在通用和医疗问答数据集上进行了广泛的实验证明了其有效性，并展示了其在未知问答数据集上的泛化能力。

    Feb, 2024

  • MedEdit：应用外部知识库进行医学问答的模型编辑

    使用模型编辑和上下文学习的综合检索策略，可以提高大型语言模型在医学问答方面的准确性，消除黑盒模型的挑战。

    Sep, 2023

  • HuaTuo：基于中医知识优化 LLaMA 模型

    HuaTuo 是基于 LLaMA 模型，使用生成的 QA 实例进行监督微调，以提高其在生物医学领域任务中的表现，实验结果表明，HuaTuo 生成的响应具有更加可靠的医学知识。

    Apr, 2023

  • 医学问题回答中领域特定语言模型的持续训练和微调

    使用连续训练和指导微调的方法，快速适应中国医学领域的 Llama 2 基础模型，实验证实了该方法的有效性，产生了与 GPT-3.5-turbo 相媲美的模型，并且使用更少的计算资源。这个领域特定模型对于各种中国医学应用是有用的，并为领域特定训练提供了一个模板，用于那些预训练模型缺乏所需专业知识的领域，如法律、科学和工程。

    Nov, 2023

  • MedREQAL: 通过问答方式检验大型语言模型对医学知识的记忆能力

    近年来，大型语言模型（LLMs）在大文本语料库的预训练过程中展示了令人印象深刻的知识编码能力。本研究通过构建一个新的基于系统评述的数据集，评估了六种 LLMs（如 GPT 和 Mixtral）在医学知识回忆方面的能力，并揭示了此任务的复杂性。

    Jun, 2024

  • 中文医药大语言模型中的健康相关原子知识的计算分析

    通过构建基准测试并评估通用和专用语言模型，我们发现通用语言模型在原子知识和指令遵循能力方面表现更好，而专用语言模型在提供安全性方面表现较差，在提炼数据方面可以通过通用语言模型学习。此外，我们还发现提炼数据对于专用语言模型的微调效果最佳。

    Oct, 2023

  • MedLM：探索面向医学问答系统的语言模型

    本研究通过比较一般性和专用于医学问答的精简语言模型的性能，旨在填补这方面的空白，并评估不同语言模型家族的性能，以探讨这些模型在医学问答领域的可靠性、比较性能和有效性，从而为不同语言模型在医学领域的特定应用提供有价值的见解。

    Jan, 2024

  • 从初学者到专家：将医学知识建模到通用 LLM 中

    本研究通过将预训练的通用大型语言模型精细调整为医学领域专家，并结合多种优化方法，包括注入通用医学知识、医学领域指导微调和特定医学任务适应性调整，成功提升了在医学领域的推理和应答能力。

    Dec, 2023

  • LLM2KB：利用调整指导上下文感知的大型语言模型构建知识库

    使用大型语言模型构建知识库的 LLM2KB 系统有不同于基础模型的参数紧凑的注入模型，通过 LoRA 技术调整指令以便使用 Wikipedia 页面上下文实体，并在 LM-KBC 挑战中取得了 0.6185 的平均 F1 得分。

    Aug, 2023

  • SKILL: 大语言模型结构化知识注入

    本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

    May, 2022