Jan, 2024

制造业中使用大语言模型的知识分享：用户评估与模型基准测试

PDF
TL;DR工厂知识管理的关键是高效地处理知识。本研究使用基于大型语言模型的系统，通过利用工厂文档中的广泛知识，旨在有效回答操作员的查询并促进新知识的分享。在工厂环境中进行的评估结果显示该系统具有快速信息检索和更高效问题解决的优势，然而研究还表明在有人类专家可用时，人们更倾向于向其学习。此外，我们还对该系统进行了几个闭源和开源大型语言模型进行基准测试，GPT-4 始终优于其他模型，而开源模型如 StableBeluga2 则紧随其后，提供了数据隐私和定制化方面的吸引力。总体而言，该研究为考虑采用大型语言模型工具进行知识管理的工厂提供了初步见解。
knowledge managementlarge language modelfactory documentationinformation retrievalhuman expert
发现论文，激发创造
  • 利用大型语言模型增强知识图谱构建

    本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

    May, 2023

  • 大型语言模型如何帮助人类在设计和制造中？

    大型语言模型 (Large Language Models, LLMs)，如 GPT-4 的进步为生成设计提供了新的机会，本文调查了该工具在整个设计和制造流程中的应用。通过一系列示例，我们突出了当前 LLMs 的优点和局限性，旨在推动这些模型的持续改进和进步。

    Jul, 2023

  • 智能制造中的统一工业大型知识模型框架

    该研究论文介绍了大型语言模型（LLMs）的最新发展，探讨其在工业 4.0 和智能制造中的应用潜力，并提出了一个工业大型知识模型（ILKM）框架，强调其在智能制造行业的革命潜力。此外，从八个角度比较了 ILKMs 和 LLMs，并提出了 “6S 原则” 作为在智能制造中开发 ILKMs 的指导原则。

    Dec, 2023

  • 基于维基百科风格的调查问卷生成的大型语言模型：在 NLP 概念上的评估

    通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估，本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功，并揭示了 LLM 在特定领域应用中存在的问题和短板。

    Aug, 2023

  • 基于大型语言模型的多智能体制造系统

    传统制造业面临适应动态环境和快速响应制造变化的挑战。多智能体系统的使用提高了适应性和协调能力，但需要进一步发展快速理解人类指令、操作适应性和自然语言整合的能力。大型语言模型如 GPT-3.5 和 GPT-4 通过使智能体能够用自然语言进行沟通并解释人类指令来增强多智能体制造系统，从而使其更具适应性，并能够处理特定上下文的指令。一项案例研究展示了该框架的实际应用，显示智能体可以有效地沟通、理解任务和执行制造过程，包括智能体之间精确的 G 代码分配。研究结果凸显了将大型语言模型不断整合到多智能体制造系统中以及开发复杂智能体通信协议的重要性，以实现更灵活的制造系统。

    Jun, 2024

  • LLM2KB：利用调整指导上下文感知的大型语言模型构建知识库

    使用大型语言模型构建知识库的 LLM2KB 系统有不同于基础模型的参数紧凑的注入模型，通过 LoRA 技术调整指令以便使用 Wikipedia 页面上下文实体，并在 LM-KBC 挑战中取得了 0.6185 的平均 F1 得分。

    Aug, 2023

  • 利用本地知识库赋能 ChatGPT 类大规模语言模型，用于工业预测与健康管理

    ChatGPT-Like LLM empowered by the local knowledge base in industrial PHM combining domain-specific expertise significantly improves its performance, promoting efficiency and quality.

    Dec, 2023

  • 工业应用中高效问答的开源语言模型基准测试

    该论文通过对问题回答任务进行综合基准测试研究，旨在识别对实际应用具有可比较性能且资源要求轻的开源替代方案，以解决工业领域对可访问和高效的自然语言处理解决方案的紧迫需求。

    Jun, 2024

  • 开发一个可扩展的基准测试，用于评估大型语言模型在知识图谱工程中的表现

    大型语言模型在知识图谱工程方面的性能评估和监控是一个重要问题，我们引入了一个基于知识图谱工程的基准评测框架，涵盖了语法和纠错、事实抽取以及数据集生成三个挑战。通过实验证明，尽管具有一定的实用性，大型语言模型在零样本生成知识图谱方面尚不适用。因此，我们的 LLM-KG-Bench 框架提供了 LLM 响应的自动评估和存储机制，以及统计数据和可视化工具，以支持指导数据和模型性能的追踪。

    Aug, 2023

  • 通过人工反馈评估大型语言模型：建立瑞典基准

    在人工智能领域，大型语言模型在多个应用中展示出显著的能力。然而，这些模型在资源较少的语言（如瑞典语）中的表现尚未深入研究。本研究引入了一种综合的人类基准，通过强制选择排序来评估主要的语言模型在理解和生成瑞典语文本方面的有效性。我们使用改进的 ChatbotArena 基准测试，结合人类反馈来评估包括 GPT-4、GPT-3.5、各种 Claude 和 Llama 模型以及定制模型（如 Dolphin-2.9-llama3b-8b-flashback 和 BeagleCatMunin）等十一种不同模型的性能。这些模型是基于它们在 LMSYS chatbot arena 和 Scandeval 基准测试中的表现选择的。我们发布 chatbotarena.se 基准测试作为一种工具，以改善我们对瑞典语语言模型性能的理解，并希望它能被广泛使用。我们的目标是在收集和分析足够的数据后创建一个排行榜。

    May, 2024