Jun, 2024

朝可靠性 Ad-hoc 科学信息提取迈进：基于两组材料数据的案例研究

PDF
TL;DR探索 GPT-4 在从科学文献中进行特定模式的信息提取方面的能力，评估其是否能够通过基本的提示方法复制两个已存在的材料科学数据集，从最初手动提取的文稿中提取所需信息，并利用材料科学家的见解进行详细的手动错误分析，以确定模型在提取所需信息时的困难之处，并提出研究方向来解决这个广泛重要的任务。
gpt-4ad-hoc schemainformation extractionscientific literaturematerial science datasets
发现论文，激发创造
  • 利用大型语言模型从材料科学文献中挖掘实验数据

    评估先进的大型语言模型（LLMs）在材料科学领域的科学文档中提取结构化信息的能力，并引入了一种比较分析复杂材料表述的新方法，重点是采用化学式的标准化来解决材料科学信息评估中固有的复杂性。LLMs 在指定的两个关键任务中展现出不同的表现：对于命名实体识别（NER）任务，LLMs 未能超越基准模型和规则基模型，对于关系抽取（RE）任务，经过适当策略的 GPT-3.5-Turbo 优于所有模型，而 GPT-4 和 GPT-4-Turbo 在没有经过任何调优的情况下，在仅提供几个示例的情况下展示出出色的推理和关系抽取能力，超越了基准模型。总体而言，结果表明，虽然 LLMs 在连接概念方面展示出相关的推理能力，但对于需要提取复杂领域特定实体（如材料）的任务来说，专门的模型目前是更好的选择。

    Jan, 2024

  • 使用通用语言模型从文本中提取材料数据的灵活模型无关方法

    本文主要介绍了一种从研究论文全文中提取材料数据以建立数据库的简单方法，该方法基于自然语言处理和大型通用语言模型，无需编程或模型培训等专业知识，可实现高召回率和几乎完美精度。作者还评估了多种语言模型（GPT-3/3.5，bart 和 DeBERTaV3），并在提取体积模量数据方面取得了良好的表现。最后，作者还通过开发金属玻璃的临界冷却速率数据库展示了该方法可以扩展到其他研究领域。

    Feb, 2023

  • MaScQA：一个用于研究大型语言模型中材料科学知识的问答数据集

    我们基于材料学领域的 650 个具有挑战性的问题，对 GPT-3.5 和 GPT-4 模型在问答、零点提示和思维链激励下的表现进行了评估，并发现 GPT-4 的准确率最高（约为 62%），而与思维链激励相比，没有明显的准确率提高。通过错误分析，我们发现概念错误（64%）是改进语言模型表现的主要因素，而计算错误（36%）对 LLMs 性能的降低起到了次要作用。我们希望该工作中的数据集和分析能够促进材料科学领域特定 LLMs 的开发和信息提取策略的研究。

    Aug, 2023

  • 大型语言模型作为主钥匙：使用 GPT 解锁材料科学的奥秘

    本文提出了一个新的 NLP 任务叫做结构化信息推理（SIS），通过在现有钙钛矿太阳能电池数据集上微调 GPT-3 得到 91.8 F1 分数，并更新了该数据集，使得其中的数据可以被材料科学家直接用于后续数据分析中，同时证明了大型语言模型可以像材料科学家一样判断材料并设计新材料。

    Apr, 2023

  • 利用经过优化的大型语言模型从复杂的科技文本中提取结构化信息

    通过预先训练的语言模型 GPT-3，我们提出了一种简单的序列到序列方法来联合提取科学文本中的复杂层次信息的命名实体识别和关系抽取，并证明了这种方式能够准确提取复杂科学知识的有用记录。

    Dec, 2022

  • 使用对话式语言模型和提示工程从研究论文中提取准确的材料数据 —— 以 ChatGPT 为例

    本研究提出了 ChatExtract 方法，该方法利用先进的会话型 LLM（或 AI）自动提取数据，并通过一系列后续问题确保其正确性。 ChatExtract 可用于任何会话型 LLMs，结果表明，由于其简单性，可转移性和准确性，类似 ChatExtract 的方法有望在不久的将来取代其他数据提取方法。

    Mar, 2023

  • MaTableGPT: 材料科学文献中基于 GPT 的表格数据提取器

    利用 MaTableGPT 从材料科学文献中高效提取表格数据，成功实现了 96.8% 的提取准确率，并展示了几乎无错误的学习方法的成本分析和 Pareto 前沿映射，为水分解催化领域的研究提供了宝贵的洞察。

    Jun, 2024

  • 数据科学中的 GPT：模型选择的实践探索

    利用大型语言模型 (LLMs) 管理结构化数据并增强数据科学流程的兴趣日益增长。尽管具有潜在的好处，但其整合引发了对可靠性和决策方法的重要问题，强调了模型选择过程中包括数据性质、问题类型、性能指标、计算资源、可解释性与准确性、对数据的假设以及伦理考虑等多种因素的重要性。我们的目标是阐明和表达 GPT-4 模型选择推荐背后的因素和假设。我们采用变异性模型描述这些因素，并使用玩具数据集评估模型和已确定的启发式方法的实施。通过将这些结果与其他平台的启发式方法进行对比，我们的目的是确定 GPT-4 方法的有效性和独特性。本研究致力于推进我们对人工智能决策过程的理解，特别是在数据科学中的模型选择领域。我们的努力旨在创建更加透明和可理解的人工智能系统，为数据科学实践贡献更负责任和高效的方法。

    Nov, 2023

  • GPT-4 在需要高度专业领域知识的文本数据分析任务中的支持能力？

    本文评估了生成式预训练转换 (GPT-4) 对高度专业领域的文本数据分析任务的能力，特别关注分析法院裁决以解释法律概念的任务。我们发现，在注释指南的提示下，GPT-4 的表现与经过良好培训的法律学生注释器相当。我们发现，虽然性能略有下降，但 GPT-4 可以进行批量预测，从而降低成本。然而，采用连贯思维提示并没有在此任务上明显提高性能。此外，我们演示了如何分析 GPT-4 的预测，以识别和减轻注释指南的缺陷，进而提高模型的性能。最后，我们观察到该模型非常脆弱，因为提示中的小型格式相关更改对预测结果影响很大。这些发现可被从事高度专业领域任务的文本语义 / 语用注释的研究人员和实践者利用。

    Jun, 2023

  • 利用 GPT-4V 进行网孔化学中的图像和数据挖掘

    该研究展示了 GPT-4V 的卓越能力，在金属有机框架方面的搜索和数据获取方面尤其出色。通过自动将 346 篇学术文章转化为 6240 张图像，并运用 GPT-4V 进行自然语言提示分析，该方法在判断和解释关键图表（如氮吸附等温线、PXRD 谱图和 TGA 曲线等）方面的准确率和召回率都在 93% 以上，强调了模型在数据挖掘中的能力和对化学等领域中数字化数据库建设的潜力。此外，从选定文献中提取的氮吸附等温线数据为 200 多个化合物的理论和实验多孔性数值提供了比较，凸显了一些差异并强调了整合计算和实验数据的重要性。该研究突出了人工智能在加速科学探索和创新、弥合计算工具与实验研究之间差距、以及推动更高效、更全面和更包容的科学研究的潜力。

    Dec, 2023