Mar, 2023

评估 GPT-3.5 和 GPT-4 模型在巴西大学入学考试中的表现

PDF
TL;DR本研究通过分析 GPT-3.5 和 GPT-4 对 Exame Nacional do Ensino Médio 的表现以及不同提示策略的测试，旨在探讨语言模型在解决跨学科知识问题的高风险选择题方面的能力。 2022 年版的 GPT-4 with CoT 模型表现最佳，精度达到了 87％。
language modelsexame nacional do ensino médiomultiple-choice testsgpt-3.5gpt-4
发现论文，激发创造
  • 评估 GPT-4 在巴西大学入学考试中的视觉能力

    通过综合文本和视觉元素，对语言模型在入学考试上进行评估的综合框架表明 GPT-4 在处理复杂多学科问题方面具有最先进的能力，但数学问题仍然是这些模型的挑战。

    Nov, 2023

  • GPT-4 在医疗挑战问题上的能力

    通过对 USMLE 和 MultiMedQA 基准数据集的全面评估，我们发现不需要专门的提示造型来激发 GPT-4，它的表现超过了 USMLE 的合格分数约 20 分，并表现优于早期的通用模型（GPT-3.5）以及专门针对医学知识进行细化调整的模型（Med-PaLM，Flan-PaLM540B 的提示调整版本）。

    Mar, 2023

  • 对 GPT-3.5 和 GPT-4 在巴西葡萄牙语语法纠错方面的评估

    研究 GPT-3.5 和 GPT-4 等大型语言模型在巴西葡萄牙语中作为语法错误纠正工具的有效性和性能，并将其与 Microsoft Word 和 Google Docs 进行比较。

    Jun, 2023

  • GPT-4 通过 297 个波兰书面理事会认证考试

    通过在 297 个考试中测试 Generative Pretrained Transformer（GPT）模型的性能，研究结果显示 GPT-3.5 没有通过任何考试，而最新的模型 gpt-4-0125 成功通过了 222 个考试（75%）。此研究对于波兰的大型语言模型在医学考试中的性能评估展示了巨大的进展，并展望了将 AI 应用于医疗领域的前景，例如开发基于 AI 的医疗助手来提高医疗服务的效率和准确性。

    Apr, 2024

  • 大型语言模型在本科入学考试中的西班牙语性能评估

    该研究评估了大型语言模型 (具体为 GPT-3.5 和 BARD) 在墨西哥国立理工学院提出的本科入学考试中的表现。这些考试涵盖了工程 / 数学和物理科学、生物和医学科学以及社会和行政科学。两个模型在不同的学术专业中表现出了一定的熟练程度，有些学术专业的最低录取分数都被超过了 75%。GPT-3.5 在数学和物理方面表现优于 BARD，而在历史和事实信息相关问题上，BARD 的表现较好。总体而言，GPT-3.5 的得分稍微超过了 BARD，分别为 60.94% 和 60.42%。

    Dec, 2023

  • 应用大型语言模型和思维链路实现自动评分

    该研究通过应用大型语言模型（LLMs），特别是 GPT-3.5 和 GPT-4，结合思维链（CoT），对学生科学评估中的写作回答进行自动评分的应用进行了调查，并专注于克服先前限制研究人员和教育工作者使用自动评估工具的可访问性、技术复杂性和解释性方面的挑战。研究结果表明，GPT-4 相对于 GPT-3.5 在各种评分任务中表现出更高的性能，并且使用 CoT 能够提高评分准确性，特别是当与项目描述和评分标准一起使用时。

    Nov, 2023

  • 开源大型语言模型 GPT-4 和 Claude 2 的比较研究：肾脏病学中的多项选择测试

    该研究调查了大型语言模型（LLMs）在内科专科多项选择测试能力方面的医学知识能力，与 GPT-4 和 Claude 2 相比，当前广泛使用的开源 LLMs 在零 - shot 推理能力方面表现不佳。

    Aug, 2023

  • 使用大型语言模型回答农业考试：GPT-4 作为农艺师助手？

    GPT-4 在农业相关问题上表现出色，可通过考试获得农学家的认证，为农民和农业专业人员提供有价值的洞见。

    Oct, 2023

  • 评估 GPT-4 和 ChatGPT 在日本医学执照考试中的表现

    本文旨在评估 ChatGPT，GPT-3 和 GPT-4 在日本语言医学执照考试上的表现，并提出了当前 LLM API 的关键局限性，包括产生不合适的词语以及因脚本语言不同带来的高昂成本和较小的上下文空间。

    Mar, 2023

  • 大型语言模型是否能够对医学问题进行推理？

    研究了 GPT-3.5 在实际世界中具有强大推理能力和专业领域知识的应用能力，使用了多项提示方法（CoT、零和少量训练以及检索增强），并在医学考试和阅读理解领域取得了人类水平表现。

    Jul, 2022