Aug, 2023

利用大型语言模型提取数学概念

PDF
TL;DR我们使用 ChatGPT 等生成性大型语言模型从数学文本中提取数学概念，为自动术语提取和数学文本处理领域以及 LLM 研究作出贡献。我们的研究目标是在数学领域中通过自动提取术语（关键词）来建立模型，使用的语料库是在线期刊《Theory and Applications of Categories》的 755 个摘要，快照来自 2020 年左右。我们的研究与之前的工作不同之处在于：（1）更彻底分析了数学术语提取的困难之处；（2）关注了人工标注者之间的不一致性；（3）提供了一套人机标注者都可以使用的指南，以规范化提取过程；（4）引入了一种新的注释工具，帮助人类进行自动术语提取，适用于任何数学领域甚至数学之外的领域；（5）使用 ChatGPT 的提示作为提取过程的一部分，并提出了最佳实践；（6）提出了 ChatGPT 是否能够作为与人类专家在同一级别上的注释者的问题。我们的总体发现是，数学术语提取是一个有趣的领域，LLM 的参与可能对该领域有所裨益，但目前 LLM 本身无法超过人类的表现水平。
mathematical conceptsautomatic term extractioncategory theoryinter-annotator disagreementsmathematical ate
发现论文，激发创造
  • 数学家的大型语言模型

    大型语言模型（LLMs）如 ChatGPT 因其通用的语言理解能力而备受关注，尤其是它们生成高质量文本或计算机代码的能力。在本文中，我们讨论它们在何种程度上可以辅助数学专家，并提供了现代语言模型中使用的变压器模型的数学描述。基于最近的研究，我们概述了最佳实践和潜在问题，并报告了语言模型的数学能力。最后，我们揭示了 LLMs 改变数学家工作方式的潜力。

    Dec, 2023

  • 通过交互评估数学语言模型

    使用交互式评估方法评估大型语言模型在大学级数学推理方面的能力，为人工智能从业者和数学教授提供可行的建议，重点在于模型应该如何处理不确定性和人类纠错。

    Jun, 2023

  • LLMs 是否可以促进预训练语言模型的解释？

    利用 ChatGPT 作为注释器，我们在预训练语言模型中发现潜在概念，并采用 GPT 注释进行注释。我们的发现表明，与人类注释概念相比，ChatGPT 产生了准确且语义更丰富的注释。此外，我们展示了 GPT-based 注释如何增强解释分析方法，其中我们展示了两个分析框架：probing framework 和 neuron interpretation。为了促进进一步的探索和实验，我们提供了一个包含 39,000 个注释潜在概念的 ConceptNet 数据集。

    May, 2023

  • 使用对话式语言模型和提示工程从研究论文中提取准确的材料数据 —— 以 ChatGPT 为例

    本研究提出了 ChatExtract 方法，该方法利用先进的会话型 LLM（或 AI）自动提取数据，并通过一系列后续问题确保其正确性。 ChatExtract 可用于任何会话型 LLMs，结果表明，由于其简单性，可转移性和准确性，类似 ChatExtract 的方法有望在不久的将来取代其他数据提取方法。

    Mar, 2023

  • 利用大型语言模型为主题元数据添加注释：澳大利亚国家研究数据目录的案例研究

    本文介绍了一种基于大型语言模型的上下文学习方法，通过 GPT-3.5 和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。

    Oct, 2023

  • 利用大型语言模型增强知识图谱构建

    本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

    May, 2023

  • 用 LLMs 自动标记数学问题的知识概念

    基于大语言模型的知识概念标记在数学问题的自动标记任务中显示出潜力，由于其零 / 少样本学习能力，适用于教育场景中收集大规模、专业标记数据集所面临的挑战。

    Mar, 2024

  • 使用通用大型语言模型对数学文档进行分类

    使用大型语言模型对数学文档进行自动分类，根据 Mathematical Subject Classification 对 arXiv.org 上的预印本文章进行评估，发现大约 60% 的样本中，语言模型的主要分类与 arXiv 上报告的分类相匹配，并且在其中一半的情况下，语言模型还提供了额外的主要分类。大约 40% 的样本中，语言模型提供了与原分类不同的分类，但经过详细检查发现，语言模型提供的分类大多数情况下更准确。

    Jun, 2024

  • 在机械工程教育中评估大型语言模型：关于力学概念理解的研究

    该研究探究了大型语言模型（LLM）在机械工程领域特别是力学方面解答概念性问题的能力。通过对比三种 LLM（ChatGPT（GPT-3.5），ChatGPT（GPT-4）和 Claude（Claude-2.1））在不同力学主题下的回答表现，发现 GPT-4 在除连续介质力学外的各力学领域问题中表现优异，这表明 GPT 模型在处理符号计算和张量分析方面具有潜在的未来改进空间。研究还发现，通过事先给出解释的提示，LLM 的性能都得到了显著提升，突出了提示工程的重要作用。值得注意的是，GPT-3.5 在涵盖更广泛领域的提示下表现出改进的表现，而 GPT-4 在专注于特定学科的提示下表现出色。最后，GPT-4 在减少输入偏差方面取得了显著进展，从人类猜测偏好的情况来看。该研究揭示了 LLM 作为高水平知识助手在机械工程教学和科学研究中的巨大潜力。

    Jan, 2024

  • 使用大型语言模型生成数学推导

    利用大型语言模型 (LLMs) 进行特定领域的数学推导是一项新兴的研究方向，可以帮助发现模型的局限性，潜在地支持数学发现。本文利用符号引擎在大规模上生成方程的推导，并研究 LLMs 在从前提中推导目标方程时的能力。实证结果表明，fine-tuned FLAN-T5-large (MathT5) 在绝对性能方面超过了 GPT 模型在所有静态和分布外的测试集上。然而，深入分析发现，fine-tuned 模型对于涉及未知符号的扰动 (以及较小程度的方程结构更改) 更为敏感。此外，我们分析了 1.7K 个方程和 200 多个推导，突出了常见的推理错误，如包含不正确、无关或多余的方程，以及跳过推导步骤的倾向。最后，我们探讨了评估数学推导的现有指标的适用性，发现尽管它们能捕捉到对扰动的敏感性等一般属性，但无法凸显细粒度的推理错误和模型之间的重要差异。总体来说，本研究表明在合成数据上训练模型可以提高其数学能力，超越更大的架构。

    Jul, 2023