May, 2024

基于对话模型的动态上下文学习用于数据提取和物性预测

PDF
TL;DR利用自然语言处理和大型语言模型的研究进展，本论文介绍了 PropertyExtractor，这是一个开源工具，利用 Google Gemini-Pro 和 OpenAI GPT-4 等先进的对话式大型语言模型，将零样本学习与有限样本上下文学习相结合，并采用设计的提示来动态完善结构化信息层次结构，实现材料性能数据的自主、高效、可扩展和准确的识别、提取和验证。我们在材料数据上的测试表明，精确度和召回率均超过 93%，误差率约为 10%，突显了工具包的有效性和多功能性。我们应用 PropertyExtractor 生成了一个二维材料厚度数据库，这是装置集成的关键参数。该领域的快速发展已经超过了实验测量和计算方法，造成了重要的数据空白。我们的工作填补了这一空白，并展示了 PropertyExtractor 作为可靠高效的自动生成多样化材料属性数据库的潜力，推动了这一领域的发展。
发现论文，激发创造
  • 使用对话式语言模型和提示工程从研究论文中提取准确的材料数据 —— 以 ChatGPT 为例

    本研究提出了 ChatExtract 方法，该方法利用先进的会话型 LLM（或 AI）自动提取数据，并通过一系列后续问题确保其正确性。 ChatExtract 可用于任何会话型 LLMs，结果表明，由于其简单性，可转移性和准确性，类似 ChatExtract 的方法有望在不久的将来取代其他数据提取方法。

    Mar, 2023

  • 使用自然语言处理从大型高分子库中提取通用材料属性数据的流程

    本研究使用自然语言处理方法自动提取高分子文献中的材料性质数据，并训练了材料科学摘要的语言模型 MaterialsBERT。通过该模型，我们在 60 小时内从约 13 万篇摘要中提取了约 30 万条材料性质记录，证明了从已发表文献开始进行自动数据提取的可行性。

    Sep, 2022

  • 使用通用语言模型从文本中提取材料数据的灵活模型无关方法

    本文主要介绍了一种从研究论文全文中提取材料数据以建立数据库的简单方法，该方法基于自然语言处理和大型通用语言模型，无需编程或模型培训等专业知识，可实现高召回率和几乎完美精度。作者还评估了多种语言模型（GPT-3/3.5，bart 和 DeBERTaV3），并在提取体积模量数据方面取得了良好的表现。最后，作者还通过开发金属玻璃的临界冷却速率数据库展示了该方法可以扩展到其他研究领域。

    Feb, 2023

  • 用多模态对比学习从自然语言中提取分子性质

    将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

    Jul, 2023

  • 利用大型语言模型从材料科学文献中挖掘实验数据

    评估先进的大型语言模型（LLMs）在材料科学领域的科学文档中提取结构化信息的能力，并引入了一种比较分析复杂材料表述的新方法，重点是采用化学式的标准化来解决材料科学信息评估中固有的复杂性。LLMs 在指定的两个关键任务中展现出不同的表现：对于命名实体识别（NER）任务，LLMs 未能超越基准模型和规则基模型，对于关系抽取（RE）任务，经过适当策略的 GPT-3.5-Turbo 优于所有模型，而 GPT-4 和 GPT-4-Turbo 在没有经过任何调优的情况下，在仅提供几个示例的情况下展示出出色的推理和关系抽取能力，超越了基准模型。总体而言，结果表明，虽然 LLMs 在连接概念方面展示出相关的推理能力，但对于需要提取复杂领域特定实体（如材料）的任务来说，专门的模型目前是更好的选择。

    Jan, 2024

  • 分层语法引导几何用于高效的分子属性预测

    通过使用可学习的分层分子语法，我们提出了一种数据高效的性质预测方法，可以从语法生成规则中生成分子，并利用次级空间的几何信息进行性质预测，从而在有限数据情况下优于其他方法。

    Sep, 2023

  • 实验背景下可以促进语言模型中的稳健语义属性推理，但结果不一致

    在先前研究中，语言模型在执行属性继承任务方面表现不佳，然而我们的研究表明，在实验环境中加入上下文示例和指令可以显著提高语言模型的鲁棒性，但这一能力并不一致，暗示着语言模型在语义属性推理的计算原则方面仍有待改进。

    Jan, 2024

  • 通过学习学习推动材料性能的外推预测

    利用基于注意力机制的神经网络和元学习算法，研究在材料科学领域中使用外推模型，以加速新材料的发现。

    Mar, 2024

  • 聚合物太阳能电池材料发现加速：自然语言处理提供的数据驱动洞察

    使用自然语言处理技术从 3300 多篇论文中提取聚合物太阳能电池属性数据，并模拟各种主动学习策略，加速材料创新，同时预测功率转换效率和发现未报道的有潜力的供体 - 受体组合。

    Feb, 2024

  • PropertyGPT：通过递归加智能规则生成从而实现智能合约的 LLM 驱动形式验证

    利用大型语言模型，本研究提出了 PropertyGPT 系统，该系统可以通过生成可编译、适当且可验证的自定义属性来检测代码缺陷和安全漏洞，实验结果显示其能够生成高质量的属性，相较于真实情况，其召回率达到 80％。

    May, 2024