本研究使用 GHOSTS 数据集评估了 ChatGPT 的数学能力和其他训练过数学语料库的模型相比，发现其数学能力显著低于普通数学研究生，并强调 GHOSTS 数据集的重要性以及未来大型语言模型在高级数学理解方面的比较研究。

Jan, 2023

该研究对 ChatGPT 在越南高中毕业考试的数学题目中的表现进行了全面的分析，探讨了无法正确回答问题的挑战。

Jun, 2023

ChatGPT 分析了其在生成高中数学问题方面的潜力，通过对各类课程的数学问题进行评估和分析，发现大语言模型在数学问题生成方面具有潜力。

Dec, 2023

我们评估了 ChatGPT（2023 年 2 月版本），即一个大规模语言模型，在解决典型的介绍性计算机工程考试中出现的概率问题方面的效果。我们的研究包括了一套 23 个概率练习，这些练习被用来测试马德里市 Rey Juan Carlos 大学（URJC）的学生。我们对 ChatGPT 生成的回答进行了定性评估，并根据与学生相同的标准评分。我们的结果表明，ChatGPT 在措辞、组织和逻辑推理方面超过了平均学生。该模型在西班牙语和英语版本的练习中表现一致。然而，ChatGPT 在执行基本的数值运算方面遇到了困难。我们的实验表明，要求 ChatGPT 以 R 脚本形式提供解决方案是克服这些限制的有效方法。总之，我们的结果表明，ChatGPT 在解决计算机工程入门考试中常见的概率问题方面超过了平均学生。然而，该模型在某些概率概念的推理方面存在局限性。大型语言模型在提供高质量解释和以任何编程语言呈现解决方案方面的能力，以及其在解决概率练习中的表现，显示了它们作为学习助理的潜力。

Oct, 2023

对 OpenAI 的 ChatGPT 语言模型的数学能力进行了细致评估，比较了其默认计算能力和三种规范方法（战略提示、个人角色实现和思维链方法）的效率。实证分析表明，这些方法没有显著改进 ChatGPT 的基准表现，甚至在某些情况下还会干扰模型的响应生成。这些发现强调了进一步全面研究和探索新技术以增强类似模型在不同领域中的精确性和可靠性的重要性。

Dec, 2023

本研究探讨了 ChatGPT 在解决编程问题方面的有效性，考察了其解决问题的正确性和时间、内存复杂度等效率，研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率，但其调试任务表现不佳，为 ChatGPT 的能力和改进提供了精辟的了解。

Jul, 2023

本文探讨了 ChatGPT 在数学教育中的能力，尤其是在基本线性代数的教学方面。虽然有时 ChatGPT 可以提供准确且有动机的答案，但显然它更多地依赖于视觉模式而非真正的理解，而且作为学生的老师是否合适也值得考虑。

Jun, 2023

本文探索使用 GPT-4 解决更复杂的数学问题，并评估了各种使用 GPT-4 的方法，包括作者提出的新的对话式解决框架 - MathChat。针对 MATH 数据集中的困难高中竞赛题进行了评估，结果表明所提出的对话式方法具有优势。

Jun, 2023

该研究调查了 OpenAI 的 AI 语言模型 ChatGPT 在将英语翻译成印地语、泰卢固语和卡纳达语方面的效果，旨在帮助在印度多元文化环境下的游客。研究中使用了一个包含 50 个问题的测试集，涵盖了常识、食物和旅行等不同领域，这些问题由五名志愿者进行准确性和流畅性评估，并将得分换算成 BLEU 分数。BLEU 分数评估机器生成的翻译结果与人工翻译的接近程度，得分越高表示翻译质量越好。研究结果显示，印地语的翻译表现最佳，准确性和流畅性都优于其他语言，而泰卢固语的翻译则稍逊一筹。人工评估者对翻译结果的准确性和流畅性进行了评价，为语言模型的表现提供了全面的观点。

Jul, 2023

对 ChatGPT 和 GPT-4 的语言能力、科学知识和伦理考虑进行全面评估的研究，包括现有评估方法的探讨和未来研究中对大型语言模型的评估建议。

Aug, 2023