本研究论文评估了三个人工智能聊天机器人（Bing、ChatGPT 和 GPT-4）在应对标准化考试问题方面的性能，以 GRE 作为案例研究，包括定量推理和语言技能。对 137 道定量推理问题和 157 道语言问题进行了综合评估，结果表明不同聊天机器人在不同技能和风格的考试中的表现存在差异，GPT-4 在复杂语言理解任务方面表现最好，彰显了人工智能在语言理解上的进化和在考试中获得高分的能力。

Nov, 2023

ChatGPT 对测试问题的回答质量以及如何检测测试问题是否可由 ChatGPT 正确回答的方法是本研究的重要问题。我们通过对 MedMCQA 数据集中的问题生成 ChatGPT 的回答，并分析了不同类型问题中 ChatGPT 回答准确度较低的情况。此外，我们还开发了一个基本的自然语言处理模型，用于在一组问题或样本考试中识别出对 ChatGPT 最容易攻击的问题。这个工具可以帮助考试制作者避免出现易受 ChatGPT 攻击的测试问题。

Feb, 2024

该研究对 ChatGPT 在越南高中毕业考试的数学题目中的表现进行了全面的分析，探讨了无法正确回答问题的挑战。

Jun, 2023

ChatGPT 分析了其在生成高中数学问题方面的潜力，通过对各类课程的数学问题进行评估和分析，发现大语言模型在数学问题生成方面具有潜力。

Dec, 2023

本文介绍了使用基于 GPT-4 的 ChatGPT 模型进行工程基础考试的可行性和有效性，并通过非侵入式提示修改实现了模型的显著精度提升。该研究进一步探讨了复杂工程问题的解决方案，并强调了 AI 在教育领域中的挑战，如如何实现 AI 对不同种族和背景学生的包容性和无歧视性。

Apr, 2023

本研究评估了使用 ChatGPT 回答医学问题的可靠性，结果发现 ChatGPT 的答案更加上下文相关，代表着较好的演绎推理模型。ChatGPT 等语言学习模型可以成为 e-learners 的宝贵工具，但研究表明还有提高其准确性的空间。

Jun, 2023

ChatGPT 参加了计算机科学算法与数据结构的本科考试并取得 20.5 分的好成绩，但这并不意味着 ChatGPT 理解了计算机科学；同时，使用 GPT-4 的性能比 GPT-3.5 高出 17％，可以达到平均学生的水平。

Mar, 2023

ChatGPT 作为一个问答系统，通过对其在提供的段落中提取回答的能力进行评估，发现它在生成模型方面表现出了实力，但在问题回答方面相对于特定任务模型表现较差，而提供上下文可以提高其性能，提问方式对其准确性有所影响，并且在提供的上下文中提供了无法从中获取答案的问题的回答，还存在答案幻觉的现象。

Dec, 2023

对 OpenAI 的 ChatGPT 语言模型的数学能力进行了细致评估，比较了其默认计算能力和三种规范方法（战略提示、个人角色实现和思维链方法）的效率。实证分析表明，这些方法没有显著改进 ChatGPT 的基准表现，甚至在某些情况下还会干扰模型的响应生成。这些发现强调了进一步全面研究和探索新技术以增强类似模型在不同领域中的精确性和可靠性的重要性。

Dec, 2023

本文旨在评估人工智能工具 ChatGPT 在计算机工程学科中的表现；研究发现它可以回答关于概念的问题，但由于它是一种文字工具，所以无法处理需要用到图表和手工实验的问题。

Mar, 2023