上下文中学习物理性质：对于超出分布的分子图的少样本适应性

Jun, 2024

上下文中学习物理性质：对于超出分布的分子图的少样本适应性

In-Context Learning of Physical Properties: Few-Shot Adaptation to Out-of-Distribution Molecular Graphs

Grzegorz Kaszuba, Amirhossein D. Naghdi, Dario Massa, Stefanos Papanikolaou, Andrzej Jaszkiewicz...

TL;DR在这项研究中，我们探讨了如何利用大语言模型中的上下文学习来预测非分布材料特性，并通过将 GPT-2 作用于几何感知图神经网络的输出，实现了对原子级几何特征的传递，大大提高了模型在非分布示例上的性能，并超越了一般图神经网络模型。

Abstract

large language models manifest the ability of few-shot adaptation to a sequence of provided examples. This behavior, known as in-context learning, allows for performing nontrivial machine learning tasks during in

large language models in-context learning out-of-distribution materials properties atomic-level geometric features graph neural networks

发现论文，激发创造

上下文学习用于少样本分子属性预测

本文将上下文学习的概念应用于无监督学习，以开发一种新的算法用于预测分子性质，并在小样本支持时超过了最近的元学习算法，在大样本支持时与最佳方法具有竞争力。

Oct, 2023

MolecularGPT: 开放式大型语言模型（LLM）用于少样本分子性质预测

利用 MolecularGPT，基于大规模语言模型对分子指令进行微调，并通过零样本和少样本的上下文学习，在少样本分子预测任务中取得新的竞争性结果，显示出语境推理能力优势，超过传统的图神经网络方法和现有语言模型基线，为语言模型在少样本分子特性预测中的应用发展提供了潜力。

Jun, 2024

应用于分子性质预测的图神经网络上的多任务学习

提出了一种基于图神经网络模型的最新、高效的多任务预测方法，结果表明，多任务学习可以提高模型性能，特别是数据点较少的数据集可以不需要数据增强，便能获得较好的效果，并且能显著减小模型的方差。

Oct, 2019

学习理解：模块化算术任务中上下文学习和技能组合的出现

通过研究模块化算术任务中上下文学习和技能组合的出现，我们证明了 GPT-style transformer 模型从分布内到分布外泛化的转变，也发现了最小的能够进行分布外泛化的模型需要两个 transformer 块。

Jun, 2024

基于结构的材料属性预测方法对比研究

现实世界材料研究中，机器学习模型通常被期望能够预测和发现与已知材料不同的新颖材料。本研究在物性预测模型性能评估中提供了客观评价，在超出训练集分布的材料中预测模型的性能。通过在三个基准数据集上对基于结构的图神经网络的广泛实验，我们发现当前最先进的图神经网络算法在超出分布的物性预测任务上与基线模型相比表现明显不足，展示了在现实材料预测任务中关键的泛化差距。我们进一步研究了这些图神经网络模型的潜在物理空间，并鉴定出 CGCNN、ALIGNN 和 DeeperGATGNN 相对于 MatBench 研究中目前最佳模型（coGN 和 coNGN）在超出分布的任务上更为稳健的性能，并提供了改进性能的见解。

Jan, 2024

分子属性预测的少样本图学习

本文介绍了一种新颖的用于少样本分子属性预测的模型 Meta-MGNN，该模型利用分子图神经网络学习分子表示，并构建元学习框架进行模型优化，在公共数据库上的实验结果表明，Meta-MGNN 优于其他多种先进的方法。

Feb, 2021

深入探究上下文学习在分布偏移下的应用

通过在不断变化的数据分布下比较转换器和基于集合的 Multi-Layer 感知机的表现，研究了上下文学习的一些普遍限制，发现转换器模型更准确地模拟了最小二乘法的性能，并且对于轻微的分布移位更具有鲁棒性，但在严重分布移位的情况下，两个模型的上下文学习能力都会减弱。

May, 2023

数据分布特征驱动变压器模型中的上下文学习

研究了 Transformer-based 模型在 in-context few-shot learning 方面的行为和处理方式，发现训练数据的分布特性是这种行为的关键，特别是数据具有大量稀有类别和爆发性分布这两个属性时；而这些属性往往是自然数据所具有的。此外发现在特定训练数据下使用 Zipfian distribution 可以支持 Transformer-based 模型同时实现 in-context 和 in-weights learning。

Apr, 2022

用多模态对比学习从自然语言中提取分子性质

将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

Jul, 2023

上下文学习的贝叶斯催化剂优化

为了实现无特征或结构调整的上下文学习回归，我们展示了一个提示系统，结合了不确定性，使得大语言模型能够以自然语言处理的方法进行催化剂或分子优化的贝叶斯优化，从而消除了训练或模拟的需要。

Apr, 2023