知识人工智能：微调自然语言处理模型以促进科学知识提取和理解

Aug, 2024

知识人工智能：微调自然语言处理模型以促进科学知识提取和理解

Knowledge AI: Fine-tuning NLP Models for Facilitating Scientific Knowledge Extraction and Understanding

Balaji Muralidharan, Hayden Beadles, Reza Marzban, Kalyan Sashank Mupparaju

TL;DR本研究针对大型语言模型在特定领域内理解和提取科学知识的有效性进行了探讨，并建立了一个深度学习框架——知识人工智能。通过对预训练模型进行微调，我们显著提升了其在科学领域中的任务表现，为非专业人士提供了高效的信息查询与提取工具，展示了微调大型语言模型在科学知识发现中的潜在价值。

Abstract

This project investigates the efficacy of Large Language Models (LLMs) in understanding and extracting scientific knowledge across specific domains and to create a deep learning framework: Knowledge AI. As a part

发现论文，激发创造

从语言模型中提取事实知识的微调理解

本文分析语言模型在事实知识提取中的应用，发现finetuning会造成一个负面现象- Frequency Shock，导致模型预测能力下降，因此提出两种解决方案（模型混合和混合finetuning），并验证实验表明这两种解决方案相比原始finetuning均获得了显著的改进。

Jan, 2023

科学大型语言模型：生物与化学领域综述

大型语言模型 (LLMs) 在增强自然语言理解方面具有变革性的力量，代表着朝着人工通用智能迈出的重要一步。科学LLMs是一个新兴的领域，专门针对促进科学发现进行工程化设计。本文详细调查了科学LLMs，并围绕生物化学领域进行了深入研究，包括文本知识、小型分子、大分子蛋白质、基因组序列以及它们的组合，从模型架构、能力、数据集和评估等方面进行了分析。最后，我们批判性地审查了当前的挑战，并指出了前景广阔的研究方向以及LLMs的进展。通过提供对该领域技术发展的全面概述，本调查力求成为研究人员在科学LLMs复杂领域中的宝贵资源。

Jan, 2024

知识感知的大语言模型微调

使用知识感知微调（KnowTuning）方法解决大型语言模型在自然语言处理任务中的知识感知不足问题，并在通用和医疗问答数据集上进行了广泛的实验证明了其有效性，并展示了其在未知问答数据集上的泛化能力。

Feb, 2024

通过监督微调向大规模语言模型注入新知识

研究了在最新的体育事件领域中，通过具有监督的微调方法对大规模语言模型进行知识注入的有效性，并比较了基于令牌和基于事实缩放的不同数据集生成策略，发现基于事实缩放提供了更为系统的方法来确保对所有事实的均匀覆盖。通过SFT进行更有效的知识吸收，从而显著提高了与领域外知识相关的问答任务的性能，为领域适应性和提高大规模语言模型响应准确性的潜力做出了贡献。

Mar, 2024

INDUS：科学应用中的高效有效语言模型

我们开发了INDUS，一套针对地球科学、生物学、物理学、太阳物理学、行星科学和天体物理学领域进行定制的大型语言模型（LLMs），并使用从多种数据源中提取的策划科学文献进行训练。此模型套件包括利用特定领域词汇和文献进行训练的编码器模型，基于对比学习的一般文本嵌入模型，以及使用知识蒸馏技术创建的资源受限应用模型。我们还创建了三个新的科学基准数据集，加速研究这些多学科领域，最后证明我们的模型在这些新任务以及感兴趣领域的现有基准任务上优于通用编码器（RoBERTa）和现有的领域特定编码器（SciBERT）。

May, 2024

科学大型语言模型及其在科学发现中的应用综述

该研究对250个科学领域的大型语言模型进行了全面调研，揭示了它们在架构和预训练技术上的交叉领域和跨模态连接，并总结了每个领域和模态的预训练数据集和评估任务。此外，还研究了大型语言模型在科学发现中的应用。

Jun, 2024

大型语言模型的性能误区揭秘：微调与失败？

研究探讨了大型语言模型在细调、提取上下文数据和性能增强方面的影响，以及它们在多个领域的应用情况，并指出了细调模型在特定任务中性能下降的问题。

Jun, 2024

面向科学文本的高效大型语言模型：综述

本研究解决了大型语言模型在科学领域应用时面临的高昂计算资源和训练时间的问题。通过对现有方法的总结与分析，本文提出了两条主要的研究方向，即模型规模和数据质量的提升。研究表明，这些方法的综合应用能够显著降低科学领域内使用大型语言模型的成本，推动更可负担的AI解决方案的发展。

Aug, 2024

SciLitLLM：如何将大型语言模型适应于科学文献理解

本研究解决了大型语言模型在科学文献理解中的知识缺乏和专门任务不熟悉的问题。我们提出了一种混合策略，结合持续预训练与监督微调，以增强模型在科学领域任务中的表现和理解能力。通过这一方法，SciLitLLM在科学文献理解基准测试中显示出了良好的性能，具有广泛的应用潜力。

Aug, 2024

SciLitLLM：如何调整大语言模型以理解科学文献

本研究解决了大语言模型在科学文献理解中面临的科学知识缺乏和专业任务不熟悉的问题。提出了一种结合持续预训练和监督微调的混合策略，旨在增强模型的专业知识和指令遵循能力。研究表明，SciLitLLM在科学文献理解基准测试中表现优异，展示了显著的性能提升。

Aug, 2024