Apr, 2024

大型语言模型能否学习超材料的物理学？ChatGPT 的实证研究

PDF
TL;DR在大规模语言模型（LLMs）的研究中，通过对上万份数据进行微调，我们成功构建了一种可以根据元表面几何仅仅通过文本提示就能预测一系列频率范围内的电磁光谱的 LLM 模型。与传统的机器学习方法相比，该模型在所有探索过的数据集大小上均实现了更低的误差，包括深度神经网络。此外，我们还证明了 LLM 通过提供所需的几何形状来解决反问题的能力。因此，我们建议在特定领域的大型数据集上对 LLMs 进行微调，使其能够把握该领域的细微差别，成为研究和分析的有价值工具。
发现论文，激发创造
  • ChatGPT 备选方案：大型语言模型调查

    通过对多个 LLM 模型的研究，本文不仅提供了全面的概述，还明确了现有挑战，并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点，为进一步的探索、增强和创新提供了启示。

    Mar, 2024

  • 利用大型语言模型解决和解释物理问题：接近人类水平

    我们的研究表明，基于预训练文本的大型语言模型（LLM）不仅可以解决纯数学问题，还可以解决物理问题 - 即基于某些先前的物理知识进行计算和推理的问题。我们收集和注释了第一个物理问题数据集 - PhysQA，其中包含 1000 多个初中物理问题（关于运动学、质量和密度、力学、热学、电学）。然后我们使用 OpenAI 的 GPT3.5 生成了这些问题的答案，发现 GPT3.5 能够以零样本学习解决 49.3％的问题，以少样本学习解决 73.2％的问题。这个结果表明，通过使用类似问题及其答案作为提示，LLM 可以解决接近人类水平的初级物理问题。除了自动解决问题，GPT3.5 还可以总结问题涉及的知识或主题，生成相关的解释，并根据输入问题合成新的物理问题。我们的研究是首次在多种类型和场景下自动解决、解释和生成物理问题，我们获得了令人满意和领先水平的准确性，这表明了在中等教育领域中 LLM 进一步应用的潜力。

    Sep, 2023

  • 在机械工程教育中评估大型语言模型：关于力学概念理解的研究

    该研究探究了大型语言模型（LLM）在机械工程领域特别是力学方面解答概念性问题的能力。通过对比三种 LLM（ChatGPT（GPT-3.5），ChatGPT（GPT-4）和 Claude（Claude-2.1））在不同力学主题下的回答表现，发现 GPT-4 在除连续介质力学外的各力学领域问题中表现优异，这表明 GPT 模型在处理符号计算和张量分析方面具有潜在的未来改进空间。研究还发现，通过事先给出解释的提示，LLM 的性能都得到了显著提升，突出了提示工程的重要作用。值得注意的是，GPT-3.5 在涵盖更广泛领域的提示下表现出改进的表现，而 GPT-4 在专注于特定学科的提示下表现出色。最后，GPT-4 在减少输入偏差方面取得了显著进展，从人类猜测偏好的情况来看。该研究揭示了 LLM 作为高水平知识助手在机械工程教学和科学研究中的巨大潜力。

    Jan, 2024

  • ChatGPT：从大型语言模型向大型知识模型发展

    通过使用基于 transformer 的生成神经网络架构的 ChatGPT 和其他大型语言模型（LLM）在自然语言处理和图像合成等领域的惊人成功，许多研究人员对过程系统工程（PSE）中的潜在机会感到兴奋。然而，尽管它们在某些任务中非常有用，如撰写文件的初稿、代码编写辅助、文本摘要等，但它们在高度科学领域的成功受限于缺乏深度领域知识而无法推理、规划或解释。在这篇论文中，我们讨论了在化学工程领域开发这种系统面临的挑战和机遇。

    May, 2024

  • 提升大型语言模型性能以更准确地回答问题和提取信息

    通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型，利用金融数据集和检索增强生成技术 (RAG)，证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。

    Jan, 2024

  • 大型语言模型：一份调查报告

    对大型语言模型（LLMs）进行了综述，包括三个流行的 LLM 系列（GPT，LLaMA，PaLM）的特点、贡献和局限性，同时讨论了构建和增强 LLMs 的技术、为 LLM 训练、微调和评估准备的常用数据集以及常用的 LLM 评估指标，最后讨论了未来的挑战和研究方向。

    Feb, 2024

  • 基于生成检索增强的本体图和多智能体策略的解释性大型语言模型材料设计

    使用 Transformer 神经网络和大型语言模型进行材料分析、知识生成和力场开发的研究。

    Oct, 2023

  • 基于 GPT 的模型遇上仿真：如何高效地运用大规模预训练语言模型于仿真任务中

    本文是第一篇关于利用大规模预训练语言模型（LLMs）进行科学模拟的研究，聚焦于四个建模和模拟任务，分别评估 LLMs 的预期优势和局限性，并为模型构建者提供实用指南，包括解释概念模型结构、总结模拟输出、通过文本传达模拟可视化洞见以及解释模拟错误并提供解决方案。

    Jun, 2023

  • 大型语言模型作为数据预处理器

    此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

    Aug, 2023

  • 图上的大型语言模型：综合调查

    通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

    Dec, 2023