May, 2024

GKT：一种面向高效云边协同 LLM 部署的基于导向的知识转移框架

PDF
TL;DR通过指导式知识迁移，我们引入了一种新颖而直观的框架来加速大型语言模型，在不断提高性能的同时保证了效率和实惠性。该框架能够无需微调，无需教师和学生模型具有相同的词汇，实现广泛的批量生成，且可轻松集成到各种模型中，同时在准确性和处理速度上实现了显著的提升。
large language modelsguidance-based knowledge transferefficiencyaffordabilityacceleration
发现论文，激发创造
  • 知识图谱调优：基于人类反馈的实时大型语言模型个性化

    通过使用知识图谱进行实时个性化，文章提出了一种提高大型语言模型用户体验的方法，而不需要修改模型参数，从而改善了计算和内存效率，并保证解释性和个性化性能。

    May, 2024

  • 利用大型语言模型增强企业知识库的问答能力

    通过使用大规模语言模型（LLMs），我们提出了一种名为 EKRG 的新型检索 - 生成框架，以极低的注释成本实现了企业知识库的问答。通过独特的指令调优方法和针对连贯性思维的微调方法，我们的框架在真实世界数据集上进行了广泛实验，并取得了显著的有效性。

    Apr, 2024

  • KICGPT：具有上下文知识的大型语言模型用于知识图谱推理

    提出了一种整合了大型语言模型和三元组为基础的知识图谱完成方法，名为 KICGPT，通过使用知识提示来解决长尾问题并改进效率，而无需额外的训练和微调。

    Feb, 2024

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023

  • KG-GPT: 使用大型语言模型进行知识图谱推理的通用框架

    KG-GPT 是一个多功能框架，利用大型语言模型（LLMs）进行知识图谱（KGs）相关任务的复杂推理，将句子分割、检索相关图谱组件和推导逻辑结论分为三个步骤。我们通过使用基于 KG 的事实验证和 KGQA 基准来评估 KG-GPT，发现该模型表现出竞争力和稳健性，甚至胜过几个完全监督的模型。因此，我们的工作在统一 LLMs 的结构化和非结构化数据处理方面迈出了重要的一步。

    Oct, 2023

  • 弱监督代码生成的显式知识转移

    本研究提出了一种显式知识转移（EKT）方法，利用大型语言模型（LLMs）的少量学习能力来创建 NL-code 对，过滤正确性并对学生模型进行微调，以实现在数学问题求解中生成代码解决方案的任务。实验结果表明，使用 EKT 训练的 GPT-Neo 1.3B 模型具有比使用专家迭代训练和知识蒸馏更好的性能，并且学生模型使用 EKT 优于教师模型的可能性。

    Nov, 2022

  • 基于注释指南的知识增强：用于提升教育文本分类的大型语言模型

    使用基于批注指南的知识增强（AGKA）方法，我们对大型语言模型（LLMs）进行了综合评估，并在学习参与度分类（LEC）任务上取得了改进。AGKA 利用 GPT 4.0 从批注指南中检索标签定义知识，并应用随机欠采样器选择一些典型示例，通过六个 LEC 数据集对其进行了系统评估。结果表明，AGKA 可以提升非微调的 LLMs，在简单的二分类任务上 GPT 4.0 的 AGKA few-shot 的性能优于 BERT 和 RoBERTa 等全微调模型，但在需要深入理解复杂语义信息的多类任务中，GPT 4.0 有所落后。值得注意的是，基于开源 LLM 的 Llama 3 70B 与 AGKA 结合具有很大潜力，并且性能与基于闭源的 GPT 4.0 与 AGKA 相媲美，但 LLMs 难以区分多类分类中名称相似的标签。

    Jun, 2024

  • 通过知识图谱增强大型语言模型，实现事实感知语言建模

    该论文回顾了使用知识图谱增强的预训练模型的研究，详细介绍了现有的知识图谱增强预训练语言模型（KGPLMs）及其应用，并提出了基于知识图谱增强的大型语言模型（KGLLM）的思想以增强 LLM 的面向事实的推理能力，为 LLM 的研究开辟了新的途径。

    Jun, 2023

  • 线索引导的路径探索：一个高效的知识库问答框架，低计算资源消耗

    我们介绍了一个名为 Clue-Guided Path Exploration (CGPE) 的框架，它有效地将知识库和大型语言模型相结合，以少量的计算资源要求更新模型的知识，并在开放数据集上的实验证明其优于现有方法，对于计算资源有限的组织和个人具有重要的实际价值。

    Jan, 2024

  • 知识求解器：教授 LLMs 从知识图谱中搜索领域知识

    本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。

    Sep, 2023