通过评估 ChatGPT 3.5 和 4 版本在生成各种编程语言代码方面的能力，验证了这些 AI 模型用于生成科学程序的效力。通过要求 ChatGPT 生成三个不同的代码：简单的数值积分、共轭梯度求解器和并行一维模板热方程求解器来达到我们的目标。我们的分析重点是代码的编译、运行时性能和准确性。虽然 ChatGPT 的两个版本都成功创建了可以编译和运行的代码（在某种程度上需要帮助），但 AI 在使用某些语言时会更容易（可能是由于使用的训练数据集的规模）。甚至对于我们选择的这个简单示例来说，平行代码也很难由 AI 正确生成。

May, 2024

本研究通过探索 OpenAI 的 ChatGPT 在解决不同类型的物理问题方面的能力，发现 ChatGPT 在解决给定完整数据的问题上的成功率为 62.5％，而在未给定全部必要数据的实际问题上的准确率下降至 8.3％。该研究提出了关于如何利用增强学习模型的教材来提升 STEM 教育的启示，并为人工智能的优势和局限性提供了见解，对于旨在利用该技术的教育工作者以及研究人员来研究问题解决和决策制定中的人工智能与人类协作框架有所贡献。

Oct, 2023

通过对 GPT-4 Code Interpreter 的代码使用频率引入不同约束，本文探讨了代码在增强 LLMs 推理能力方面的效果。基于这种见解，我们提出了一种新颖有效的提示方法，即基于代码的自验证（CSV），进一步提升了 GPT-4 Code Interpreter 的数学推理潜力。使用 GPT-4 Code Interpreter 和 CSV，我们在 MATH 数据集上实现了令人印象深刻的无需训练准确率（53.9％ → 84.3％）。

Aug, 2023

我们评估了 ChatGPT（2023 年 2 月版本），即一个大规模语言模型，在解决典型的介绍性计算机工程考试中出现的概率问题方面的效果。我们的研究包括了一套 23 个概率练习，这些练习被用来测试马德里市 Rey Juan Carlos 大学（URJC）的学生。我们对 ChatGPT 生成的回答进行了定性评估，并根据与学生相同的标准评分。我们的结果表明，ChatGPT 在措辞、组织和逻辑推理方面超过了平均学生。该模型在西班牙语和英语版本的练习中表现一致。然而，ChatGPT 在执行基本的数值运算方面遇到了困难。我们的实验表明，要求 ChatGPT 以 R 脚本形式提供解决方案是克服这些限制的有效方法。总之，我们的结果表明，ChatGPT 在解决计算机工程入门考试中常见的概率问题方面超过了平均学生。然而，该模型在某些概率概念的推理方面存在局限性。大型语言模型在提供高质量解释和以任何编程语言呈现解决方案方面的能力，以及其在解决概率练习中的表现，显示了它们作为学习助理的潜力。

Oct, 2023

使用巨大的语言模型建立了 ChatGPT，经 Kortemeyer 验证其在牛顿力学基础知识方面具有基本理解并达到专家水平，该结果对未来的物理教育和教学具有重要的启示。

Mar, 2023

该报告描述了对 GPT-4 的大规模语言模型进行的测试，使用 Wolfram Alpha 和 Code Interpreter 插件解决科学和数学领域的 105 个原创问题，表明插件显著增强了 GPT 解决这些问题的能力，然而仍然存在界面问题，在从插件获得有用答案的问题表述方面存在困难，修复这些界面问题是使 GPT 成为可靠的大学水平计算问题工具的中心挑战。

Aug, 2023

本文探讨了 ChatGPT 在数学教育中的能力，尤其是在基本线性代数的教学方面。虽然有时 ChatGPT 可以提供准确且有动机的答案，但显然它更多地依赖于视觉模式而非真正的理解，而且作为学生的老师是否合适也值得考虑。

Jun, 2023

这篇文章研究了 ChatGPT3.5 和 ChatGPT4 在大学物理中表现的能力，表明 ChatGPT3.5 可以达到甚至超过完成一学期大学物理的学生的中位数表现，而 ChatGPT4 的表现则已接近专业物理学家的水平。

Mar, 2023

本文旨在评估人工智能工具 ChatGPT 在计算机工程学科中的表现；研究发现它可以回答关于概念的问题，但由于它是一种文字工具，所以无法处理需要用到图表和手工实验的问题。

Mar, 2023

本研究提出了使用 ComputeGPT 来创建聊天模型，能够通过实时运行代码来解决数值计算问题，结合本地 Python 解释器和 Fine-tuned prompts，以实现数值问题的最先进的效率，并提供适当的前端和安全环境以执行代码。

May, 2023