May, 2023

当巨型自然语言处理系统不够用时！使用知识亮粉点提升领域魅力

PDF
TL;DR本文研究了如何利用特定领域的知识以协助适应自然语言处理领域中的商业实例，以保险业的问答任务为例，设计出一个基于 LLMs 的新模型，通过利用保险政策手册中的特定领域知识，可以协助理解保险新概念，初步结果表明来自政策手册的知识提高了 GPT-3.5 在可靠性方面的推论能力。
large language modelsnatural language processingquestion answeringdomain-specific knowledgeinsurance
发现论文，激发创造
  • 强化大型语言模型在工业领域特定问题回答上的表现

    本研究提供了一个基于微软产品和技术问题的产业特定 QA 知识的检测基准 MSQA，旨在评估旨在提高 LLM 领域特定能力的方法。此外，我们提出了一种新的模型交互范式，可以使 LLM 在不熟练的领域特定任务上实现更好的性能。实验表明，遵循我们的模型融合框架的方法优于常用的检索方法的 LLM。

    May, 2023

  • 通过知识挖掘和摘要的自我增强领域特定聊天机器人训练方法

    通过从特定领域的文本源有效提取相关知识和自适应培训聊天机器人，我们引入了一种增强大型语言模型（LLMs）的新方法。我们的模型通过训练知识矿工 LLMiner 自动从相关文档中提取问题和答案对，并将这些 QA 对与对话数据集结合来对 LLM 进行微调，从而丰富了其特定领域的专业知识和对话能力。与通常基于领域语料库直接微调的模型相比，我们的模型在新的评估基准上表现出显著的性能改进，并且只需要人为介入的最小数量的种子实例，为 LLMs 通过模型合成的训练数据实现自我改善提供了可能性。

    Nov, 2023

  • 基于维基百科风格的调查问卷生成的大型语言模型：在 NLP 概念上的评估

    通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估，本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功，并揭示了 LLM 在特定领域应用中存在的问题和短板。

    Aug, 2023

  • 大型语言模型中的事实知识系统评估

    通过利用知识图谱 (KGs) 来系统评估大型语言模型 (LLMs) 的事实知识，本文提出了一个框架。我们的框架通过从给定 KG 中存储的事实自动生成一组问题和预期答案，然后评估 LLMs 回答这些问题的准确性。我们在通用和特定领域系统评估了最先进的 LLMs，实验证明 ChatGPT 在所有领域中始终是最佳表现者。我们还发现 LLMs 的表现取决于指导微调、领域和问题的复杂性，并且容易受到对抗性环境的影响。

    Oct, 2023

  • 通过从头开始训练领域知识来匹配领域专家

    通过领域特定的自回归训练方法，在小型的 GPT-2 模型上训练神经科学文献，可以实现即使在小规模的语言模型上也能达到专家水平的性能表现。

    May, 2024

  • 知识求解器：教授 LLMs 从知识图谱中搜索领域知识

    本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。

    Sep, 2023

  • ChatGPT：从大型语言模型向大型知识模型发展

    通过使用基于 transformer 的生成神经网络架构的 ChatGPT 和其他大型语言模型（LLM）在自然语言处理和图像合成等领域的惊人成功，许多研究人员对过程系统工程（PSE）中的潜在机会感到兴奋。然而，尽管它们在某些任务中非常有用，如撰写文件的初稿、代码编写辅助、文本摘要等，但它们在高度科学领域的成功受限于缺乏深度领域知识而无法推理、规划或解释。在这篇论文中，我们讨论了在化学工程领域开发这种系统面临的挑战和机遇。

    May, 2024

  • DIVKNOWQA: 通过知识库和文本进行开放领域问答评估 LLM 的推理能力

    大型语言模型在生成能力方面表现出色，但当仅依赖其内部知识时，容易出现幻觉，尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案，然而，最近的方法主要强调从非结构化文本语料库进行检索，忽视了底层结构。此外，当前领域存在一个显著的差距，即缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白，我们精心策划了一个综合数据集，提出了两个独特挑战：（1）需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题，正确回答问题需要从结构化知识源中检索信息；（2）符号化查询（例如用于 Wikidata 的 SPARQL）的生成是一个关键要求，增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建，我们还引入了一种新颖的方法，利用多个检索工具，包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。

    Oct, 2023

  • 知识插件：为领域特定推荐增强大型语言模型

    本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。

    Nov, 2023

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023