SciLitLLM：如何调整大语言模型以理解科学文献
通过额外的训练，我们探索将专门的科学知识嵌入到Llama 2 Large Language Model（LLM）中。研究结果表明，有效的知识整合需要从多个角度阅读文本，尤其是在指导性格式下。我们利用文本增强来解决专业文本稀缺的问题，包括风格转换和翻译。超参数优化被证明是至关重要的，不同尺寸的模型（7b、13b和70b）在额外的训练中表现出合理的结果。通过验证我们的方法，我们构建了一个包含65,000篇科学论文的数据集。尽管我们在部分嵌入知识方面取得了成功，但该研究凸显了将专业信息整合到LLM中的复杂性和局限性，并提出了进一步改进的领域。
Dec, 2023
SciGLM是一套科学语言模型，通过自我反思指令注释框架解决科学领域的数据稀缺性问题，并使用SciInstruct数据集进行Fine-tuning，提高了科学和数学推理的能力。
Jan, 2024
大型语言模型 (LLMs) 在增强自然语言理解方面具有变革性的力量，代表着朝着人工通用智能迈出的重要一步。科学LLMs是一个新兴的领域，专门针对促进科学发现进行工程化设计。本文详细调查了科学LLMs，并围绕生物化学领域进行了深入研究，包括文本知识、小型分子、大分子蛋白质、基因组序列以及它们的组合，从模型架构、能力、数据集和评估等方面进行了分析。最后，我们批判性地审查了当前的挑战，并指出了前景广阔的研究方向以及LLMs的进展。通过提供对该领域技术发展的全面概述，本调查力求成为研究人员在科学LLMs复杂领域中的宝贵资源。
Jan, 2024
SciRIFF是一份包含137K个54项任务的指示跟随演示的科学资源，涵盖了信息提取、摘要、问题回答、声明验证和分类等五个必要的科学文献理解能力，其长输入上下文、详细任务规范和复杂的结构化输出使其成为瞩目的资源。通过在一般领域和SciRIFF演示的混合数据上进行进一步微调，我们使用SciRIFF展示了一个在科学领域上适应的样本高效策略，开发出被称为SciTulu的模型，在九个科学任务的评估中，相对于强基准模型，它在7B和70B尺度上分别提高了28.1%和6.5%，同时保持了基线模型与一般指示跟随性能的2%之内。我们希望SciRIFF能促进LMM的发展和评估，帮助研究人员了解不断增长的科学文献资料。我们发布了数据集、模型检查点以及数据处理和评估代码来促进进一步的研究。
Jun, 2024
大型语言模型（LLMs）在科学研究中的广泛应用需要先进的评估标准来全面评估它们对科学知识的理解和应用。为了解决这个问题，我们引入了SciKnowEval基准，这是一个新颖的框架，从五个渐进的科学知识水平对LLMs进行系统评估：广泛学习、认真探究、深入思考、清晰辨别和勤奋实践。这些水平旨在评估LLMs的科学知识的广度和深度，包括知识覆盖、探索能力、反思和推理能力、伦理和安全考量以及实践熟练性。我们以生物学和化学为SciKnowEval的两个示例，并构建了一个包含50,000个多层次科学问题和解决方案的数据集。通过利用这个数据集，我们使用零提示和少量提示策略对20个领先的开源和专有LLMs进行了评估。结果显示，尽管取得了最先进的性能，专有的LLMs在解决科学计算和应用方面仍有相当大的改进空间。我们预计SciKnowEval将建立一个全面的标准来评估科学研究和发现中的LLMs，并促进将科学知识与强大的安全意识融入LLMs的发展。数据集和代码可在此https URL上公开获取。
Jun, 2024
该研究对250个科学领域的大型语言模型进行了全面调研，揭示了它们在架构和预训练技术上的交叉领域和跨模态连接，并总结了每个领域和模态的预训练数据集和评估任务。此外，还研究了大型语言模型在科学发现中的应用。
Jun, 2024
本研究针对大型语言模型在特定领域内理解和提取科学知识的有效性进行了探讨，并建立了一个深度学习框架——知识人工智能。通过对预训练模型进行微调，我们显著提升了其在科学领域中的任务表现，为非专业人士提供了高效的信息查询与提取工具，展示了微调大型语言模型在科学知识发现中的潜在价值。
Aug, 2024
本研究解决了大型语言模型在科学领域应用时面临的高昂计算资源和训练时间的问题。通过对现有方法的总结与分析，本文提出了两条主要的研究方向，即模型规模和数据质量的提升。研究表明，这些方法的综合应用能够显著降低科学领域内使用大型语言模型的成本，推动更可负担的AI解决方案的发展。
Aug, 2024
本研究解决了大型语言模型在科学文献理解中的知识缺乏和专门任务不熟悉的问题。我们提出了一种混合策略，结合持续预训练与监督微调，以增强模型在科学领域任务中的表现和理解能力。通过这一方法，SciLitLLM在科学文献理解基准测试中显示出了良好的性能，具有广泛的应用潜力。
Aug, 2024