May, 2024

在开放研究知识图谱中评估大型语言模型用于结构化科学摘要

PDF
TL;DR利用大型语言模型（LLMs）自动推荐属性，以增强科学论文的可发现性，并通过与 Open Research Knowledge Graph（ORKG）的比较分析评估 LLMs 的性能，发现 LLMs 在构建科学结构化推荐系统方面具有潜力，但需要进一步优化以提高与科学任务的一致性和模拟人类专业知识。
发现论文，激发创造
  • 开源语言模型在医学文本数据摘要中的比较分析

    在医疗笔记和对话中，非结构化文本具有丰富的信息。最近大型语言模型（LLMs）的进展展示了对非结构化文本数据的问题回答和摘要任务的卓越性能，超过了传统的文本分析方法。然而，在文献中缺乏有系统地评估和报告不同 LLMs 性能的科学研究，特别是针对医疗病历等特定领域数据。我们提出了一种评估方法来分析开源 LLMs（如 Llama2 和 Mistral）在医疗摘要任务中的性能，使用 GPT-4 作为评估器。我们创新的 LLMs 定量评估方法可以实现质量控制，支持为特定任务选择有效的 LLMs，并推进数字健康领域的知识发现。

    May, 2024

  • 利用大型语言模型增强知识图谱构建

    本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

    May, 2023

  • 利用大型语言模型进行自然语言生成评估：综述

    自然语言生成（NLG）评估中引入大型语言模型（LLM）为评估生成内容质量提供了新的途径，本文提供了对利用 LLM 进行 NLG 评估的全面概述，包括组织现有基于 LLM 的评估指标的一致性分类法、批判性评估不同的 LLM 方法以及比较其在评估 NLG 输出中的优势和局限性，讨论未解决的挑战，并推动更公平、更先进的 NLG 评估技术。

    Jan, 2024

  • 利用大型语言模型作为参考学习自动摘要

    本文提出了一种新的学习范式，考虑到 LLMS 是常用摘要数据集中的参考标准，用对比学习和 LLM 作为摘要质量评估器进行摘要训练方法。实验证明，用 GPTScore 和 GPTRank 两种 LLM 计分方式训练出来的较小的摘要模型，其性能可以与参考的 LLM 相媲美，通过访问 LLMS 它只需要很小的预算。

    May, 2023

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023

  • 基于维基百科风格的调查问卷生成的大型语言模型：在 NLP 概念上的评估

    通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估，本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功，并揭示了 LLM 在特定领域应用中存在的问题和短板。

    Aug, 2023

  • 从人类专家到机器：一个基于 LLM 的本体和知识图构建方法

    利用开源 LMMs 进行（半）自动化构建知识图谱的可行性研究以及深度学习方法的知识图谱构建

    Mar, 2024

  • 大型语言模型用于科学信息提取的实证研究：以病毒学为例

    本文介绍了一种基于语义内容表示的学术交流结构化方法，利用 LMMs 的文本生成能力，提供了结构化学术贡献摘要的自动化方法，并在信息提取方面展示了竞争力。

    Jan, 2024

  • 大型语言模型与知识图谱相互作用的研究趋势

    本研究调查了大型语言模型（LLMs）与知识图谱（KGs）之间的协同关系，旨在探讨 KG 问答、本体生成、KG 验证以及通过 LLMs 提高 KG 准确性和一致性等领域的研究空白。该论文还检验了 LLMs 在生成描述性文本和自然语言查询方面的作用，并通过分类 LLM-KG 交互、研究方法论和合作使用以及潜在偏见等结构化分析，提供了它们的结合潜力的新见解。该研究强调了它们的交互对于提升人工智能应用的重要性，并概述了未来的研究方向。

    Jun, 2024

  • 高效知识路径的推理：知识图引导领域问题回答的大型语言模型

    通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。

    Apr, 2024