Jun, 2024

大型语言模型的自动分子概念生成和标记

PDF
TL;DR通过自动分子概念生成和标记的 AutoMolCo 框架，利用大型语言模型的知识自动产生预测性的分子概念，经过迭代与语言模型的交互进行概念细化，使得基于细化后的概念的简单线性模型在多个基准测试中的表现超过了 GNNs 和 LLM 上下文学习的表现，从而克服了现有模型的限制，同时保持其可解释性并方便介入，证明了 AutoMolCo 引导的可解释概念模型对于分子科学研究的益处和前景。
artificial intelligenceconcept-based modelsexplainable aimolecular scienceautomolco
发现论文，激发创造
  • LLM 模型的概念归纳：用于评估的用户实验

    通过利用 GPT-4 的领域知识和常识能力，我们探索了大型语言模型在图像分类特定环境中生成高级概念作为人类解释的潜力，并通过人类研究评估了其有效性。

    Apr, 2024

  • 化学文献数据挖掘自主大模型代理

    通过大型语言模型技术，我们提出了一种全面的人工智能代理框架，能够高度准确地从大量化学文献中提取信息，实现化学文献的自动化处理，从而节省人力资源并提升性能。这一方法在化学文献处理方面具有重要的实践价值，并展示了人工智能在化学数据管理和利用方面的潜力。

    Feb, 2024

  • 化学领域的大型语言模型和自主代理的综述

    大规模语言模型（LLMs）在化学领域中以其准确预测性能、设计新分子、优化合成路径和加速药物和材料发现等能力成为一个强大的工具。本综述讨论了 LLMs 的历史、性能、设计以及在化学领域的挑战和未来方向，特别关注于代理人（agents）及其作为一个跨化学模式的出现。代理人在化学的各个领域中表现出了很好的效果，但依然存在挑战。开发面向特定领域的代理人和开发自主流程与 “副驾驶” 系统的对比对于加速化学进程尚不清楚。一种新兴的方向是开发使用人工智能辅助的多代理人系统。由于该领域的快速发展，已经建立了一个仓库，以追踪最新研究。

    Jun, 2024

  • AutoMMLab：自然语言指令生成计算机视觉任务的可部署模型

    AutoMMLab 是一个通用的、基于 LLM（语言模型）驱动的 AutoML 系统，通过用户友好的语言界面，自动化计算机视觉任务的整个模型生产流程，并利用 LLM 作为桥梁连接 AutoML 和 OpenMMLab 社区，使非专家个体能够轻松构建特定任务的模型。

    Feb, 2024

  • 大型语言模型是超人级化学家吗？

    通过 ChemBench 等评估框架，我们发现大型语言模型在化学科学中展示出卓越的能力，但仍需进一步研究以提高其安全性和实用性。

    Apr, 2024

  • 基于 LLM 的自主代理通过图学习释放力量

    使用大型语言模型（LLMs）作为自主代理，简化多样真实世界图的学习过程，响应用户请求并生成数据自动解决方案，涉及图数据处理、自动机器学习配置、搜索架构和超参数微调。提出的 Auto$^2$Graph 方法在不同数据集和学习任务上展现可比较的性能，代理产生类似人类决策。

    Sep, 2023

  • 面向概念感知的大型语言模型

    在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。

    Nov, 2023

  • 大型语言模型与自动化机器学习的协同效应

    使用大型语言模型 (LLMs) 驱动的代码生成在最近变得越来越流行。然而，自动生成机器学习 (ML) 任务的代码仍然面临着重大挑战。本文通过结合 LLMs 和自动化机器学习 (autoML) 来探索 ML 程序合成的极限，旨在完全自动化从数据准备到建模和后处理的整个 ML 工作流程的代码生成过程，只使用 ML 任务的文本描述。

    May, 2024

  • 自监督可解释的基于概念的文本分类模型

    该研究论文提出了一种自监督可解释概念嵌入模型（ICEMs），通过利用大型语言模型的泛化能力，在自监督方式下预测概念标签，并通过可解释的函数提供最终预测结果。实验结果表明，ICEMs 可以以自监督方式进行训练，并达到类似于全监督概念模型和端到端黑盒模型的性能。此外，该模型在预测方面具有解释性、互动性和可控性，能够提供有意义的逻辑解释、允许通过概念干预修改中间预测结果，并引导大型语言模型按照所需的决策路径进行解码。

    Jun, 2024

  • 科学大型语言模型：生物与化学领域综述

    大型语言模型 (LLMs) 在增强自然语言理解方面具有变革性的力量，代表着朝着人工通用智能迈出的重要一步。科学 LLMs 是一个新兴的领域，专门针对促进科学发现进行工程化设计。本文详细调查了科学 LLMs，并围绕生物化学领域进行了深入研究，包括文本知识、小型分子、大分子蛋白质、基因组序列以及它们的组合，从模型架构、能力、数据集和评估等方面进行了分析。最后，我们批判性地审查了当前的挑战，并指出了前景广阔的研究方向以及 LLMs 的进展。通过提供对该领域技术发展的全面概述，本调查力求成为研究人员在科学 LLMs 复杂领域中的宝贵资源。

    Jan, 2024