Oct, 2023

面向大规模多任务数据集的分子学习基础模型

PDF
TL;DR我们提供了七个新颖数据集，覆盖了超过 1 亿个分子和 3000 个任务，用于支持分子学习的基础模型的开发，并介绍了一个简化构建和训练分子机器学习模型的图形机器学习库。通过在大量的量子数据上进行训练，我们实证观察到在低资源的生物学数据集上的表现得到改善，这表明在基础模型上进行多任务和多层训练，并对资源受限的下游任务进行微调可能具有潜力。
pre-trained foundation modelsmolecular machine learningdatasetssupervised labelsmulti-task and multi-level training
发现论文，激发创造
  • MiniMol：一种用于分子学习的参数高效基础模型

    生物学任务中，数据通常很少。该研究提出了一种用于分子学习的基础模型 $ exttt {MiniMol}$，该模型经过预训练，在下游任务中表现出显著改进，具有公开源码。

    Apr, 2024

  • 应用基于量子启发式生成模型于小分子数据集

    本研究探讨了利用基于张量网络的生成模型在分子发现问题上的应用，并将其与其他模型进行了比较和评估，结果表明通过模型的组合可以取得更好的结果，提高了经典和量子 (- 启发式) 生成学习的统一性。

    Apr, 2023

  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • MoleculeNet: 分子机器学习基准

    MoleculeNet 是一个大规模分子机器学习基准测试，为多种先前提出的分子特征化和学习算法提供高质量的开源实现，并证明了可学习的表示是分子机器学习的强大工具，但其性能受到数据稀缺和高度不平衡分类的影响，物理感知特征化的使用对于量子力学和生物物理数据集更为重要。

    Mar, 2017

  • 子集选择与知情图神经网络的相互作用

    使用领域知识为 Qm9 数据集的分子离子化能量预测选择高效的训练集和 ML 技术，通过最大化训练集中分子的多样性，提高线性和非线性回归技术（如核方法和图神经网络）的鲁棒性，并基于速率扭曲解释框架的模型不可知解释器来检查图神经网络的预测可靠性。

    Jun, 2023

  • 转移分子基础模型以预测聚合物性质

    使用在小分子上预训练并在聚合物属性上微调的 Transformer 模型，可以达到与在扩增聚合物数据集训练的模型相当的准确性，对于一系列基准预测任务来说。

    Oct, 2023

  • 一种分子多模基础模型，将分子图与自然语言相关联

    通过对分子的图形和语义相关文本数据进行对比学习，我们提出了一个分子多模态基础模型，该模型结合了图形和自然语言的特定和互补信息，更好地抓住了分子的专业知识以及具备了从自然语言描述中生成有意义的分子图形的能力。

    Sep, 2022

  • 基于量子力学数据的原子水平预训练对图神经网络分子性质模型的分析

    通过原子级量子力学预训练数据，本研究探讨了如何改善深度学习在定量构效关系模型中的性能与广义性，以解决新颖化合物的现实情景下训练与测试数据的分布不一致问题，并显示了在公共数据集 TDC 上，原子级量子力学预训练可以改善性能，使特征激活更加符合高斯分布，从而得到更稳健的表示。据我们所知，这是首次分析隐藏状态分子表示以比较分子级与原子级预训练对量子力学数据的影响。

    May, 2024

  • 预训练的生成式语言模型作为序列任务的通用学习框架

    我们提出，可以利用具有数百万参数的小型预训练基础生成性语言模型作为一种通用学习框架来处理基于序列的任务。我们的方法克服了从头开始训练神经网络和语言模型所面临的计算资源、技能和时间线挑战。此外，我们的方法专注于创建能够准确执行基础模型无法完成的挑战性任务的小型高度专业化模型。我们证明了使用 125M、350M 和 1.3B 参数的预训练基础语言模型可以通过 10,000 到 1,000,000 个指令示例进行指令微调，从而在具有挑战性的化学信息学任务上取得接近最先进的结果。我们还展示了连续语言模型微调周期对改善结果的作用，以及数据格式化和预训练基础语言模型选择对指令微调成功的重要性。

    Feb, 2024

  • 大规模基础模型与生成型人工智能用于大数据神经科学

    机器学习、基础模型、大规模语言模型、神经科学研究、生成性人工智能模型的最新进展以及这些模型在神经科学中的应用。

    Oct, 2023