Mar, 2023

使用对话式语言模型和提示工程从研究论文中提取准确的材料数据 —— 以 ChatGPT 为例

PDF
TL;DR本研究提出了 ChatExtract 方法，该方法利用先进的会话型 LLM（或 AI）自动提取数据，并通过一系列后续问题确保其正确性。 ChatExtract 可用于任何会话型 LLMs，结果表明，由于其简单性，可转移性和准确性，类似 ChatExtract 的方法有望在不久的将来取代其他数据提取方法。
automated data extractionconversational llmfollow-up questionsinformation retentionmaterials data
发现论文，激发创造
  • ChatGPT 作为您的个人数据科学家

    本研究介绍了一种基于 ChatGPT 的对话式自动化机器学习 (AutoML) 框架作为 “个人数据科学家”，通过多个语言模型实例构建了自然界面，展示了对话式数据科学的新概念，同时也突出了 ChatGPT 的潜在缺陷和改进机会。

    May, 2023

  • 在药物监测事件提取中利用 ChatGPT 的实证研究

    探索大型语言模型 (LLMs) 在医学应用方面的潜力，特别是在药物监测事件提取方面的 ChatGPT 的能力。我们进行了广泛的实验，评估了 ChatGPT 在药物监测事件提取任务中的性能，并采用了各种提示和演示选择策略。研究结果表明，虽然 ChatGPT 在适当的演示选择策略下表现出了合理的性能，但与完全微调的小型模型相比仍然有所不足。此外，我们探索了利用 ChatGPT 进行数据增强的潜力。然而，我们的研究发现将合成数据引入微调可能会导致性能下降，可能是由于 ChatGPT 生成的标签中存在噪声。为了减轻这个问题，我们探索了不同的过滤策略，并发现在适当的方法下可以实现更稳定的性能，尽管不断改进仍然具有挑战性。

    Feb, 2024

  • 使用通用语言模型从文本中提取材料数据的灵活模型无关方法

    本文主要介绍了一种从研究论文全文中提取材料数据以建立数据库的简单方法，该方法基于自然语言处理和大型通用语言模型，无需编程或模型培训等专业知识，可实现高召回率和几乎完美精度。作者还评估了多种语言模型（GPT-3/3.5，bart 和 DeBERTaV3），并在提取体积模量数据方面取得了良好的表现。最后，作者还通过开发金属玻璃的临界冷却速率数据库展示了该方法可以扩展到其他研究领域。

    Feb, 2023

  • 基于对话模型的动态上下文学习用于数据提取和物性预测

    利用自然语言处理和大型语言模型的研究进展，本论文介绍了 PropertyExtractor，这是一个开源工具，利用 Google Gemini-Pro 和 OpenAI GPT-4 等先进的对话式大型语言模型，将零样本学习与有限样本上下文学习相结合，并采用设计的提示来动态完善结构化信息层次结构，实现材料性能数据的自主、高效、可扩展和准确的识别、提取和验证。我们在材料数据上的测试表明，精确度和召回率均超过 93%，误差率约为 10%，突显了工具包的有效性和多功能性。我们应用 PropertyExtractor 生成了一个二维材料厚度数据库，这是装置集成的关键参数。该领域的快速发展已经超过了实验测量和计算方法，造成了重要的数据空白。我们的工作填补了这一空白，并展示了 PropertyExtractor 作为可靠高效的自动生成多样化材料属性数据库的潜力，推动了这一领域的发展。

    May, 2024

  • 探索 ChatGPT 在事件提取中的可行性

    本文研究了用 ChatGPT 进行事件抽取的可行性并探究了遇到的挑战，结果表明 ChatGPT 在长尾和复杂情况下只有任务特定模型 EEQA 的 51.04％的性能，ChatGPT 不够稳定，继续改进提示不会导致稳定的性能提高，而且 ChatGPT 对不同的提示风格非常敏感。

    Mar, 2023

  • 闲聊还是深层讨论：为过程挖掘设计提示工程

    该研究主要探讨了大型语言模型在过程挖掘中的应用，以增强对话代理的能力，并改进了现有解决方案的许多问题，提高了可访问性和代理性能。通过实验验证了该框架在公共问题和数据集上的效果，为进一步探索大型语言模型在过程挖掘中的作用奠定了基础，并提出了改进大型语言模型记忆、实时用户测试和研究多样化数据集的建议。

    Jul, 2023

  • 利用大型语言模型从材料科学文献中挖掘实验数据

    评估先进的大型语言模型（LLMs）在材料科学领域的科学文档中提取结构化信息的能力，并引入了一种比较分析复杂材料表述的新方法，重点是采用化学式的标准化来解决材料科学信息评估中固有的复杂性。LLMs 在指定的两个关键任务中展现出不同的表现：对于命名实体识别（NER）任务，LLMs 未能超越基准模型和规则基模型，对于关系抽取（RE）任务，经过适当策略的 GPT-3.5-Turbo 优于所有模型，而 GPT-4 和 GPT-4-Turbo 在没有经过任何调优的情况下，在仅提供几个示例的情况下展示出出色的推理和关系抽取能力，超越了基准模型。总体而言，结果表明，虽然 LLMs 在连接概念方面展示出相关的推理能力，但对于需要提取复杂领域特定实体（如材料）的任务来说，专门的模型目前是更好的选择。

    Jan, 2024

  • 150 万个材料叙述由聊天机器人生成

    人工智能和自然语言数据集为探索固态材料提供了巨大潜力。

    Aug, 2023

  • 使用 ChatGPT 进行基于放射学报告的零样本信息提取

    大规模语言模型 ChatGPT 可用于从放射学报告中提取有用信息，但仍需进一步改进。

    Sep, 2023

  • ChatGPT 能否识别历史文档中的实体？

    本文探讨大型语言模型在历史文本中的命名实体识别和分类任务中的应用，通过比较其与基于最先进的语言模型的系统的表现找出其存在的问题。研究结果表明，历史文本中的命名实体识别存在多个问题，包括实体注释规范的一致性、实体复杂性和代码切换等，这些问题导致大型语言模型与其他系统相比存在着一些缺点。

    Mar, 2023