May, 2023

GPT-3.5 和 Bard 人工智能模型在 Java 函数代码生成能力方面的初步分析

PDF
TL;DR本研究评估了两种先进的人工智能模型 GPT-3.5 和 Bard 在给定函数描述时生成 Java 代码的能力，并发现 GPT-3.5 在正确生成代码方面的表现优于 Bard 约 37.5％。该研究强调了人工智能在软件开发中自动化和支持方面的潜力，但还需要进一步的研究来充分实现这一潜力。
artificial intelligencegpt-3.5bardjava codesoftware development
发现论文，激发创造
  • 通过 Codewars 的 Katas 评估 GPT 的编程能力

    本研究评估了 GPT-3.5 和 GPT-4 编程模型的编程熟练度，这些模型对于不同难度级别的编程问题的求解存在明显的局限性，作者提出了一个融合了问题难度和解题时间的编程问题复杂性度量标准，并强调了需要在 AI 模型中加入验证和创造性思维能力以更好地模拟人类问题解决技术的必要性。

    May, 2023

  • AI 辅助编码：GPT-4 实验

    本文使用 GPT-4 进行了多项实验来生成计算机代码，发现 AI 编码工具需要人类的验证才能确保准确性和可靠性。同时，使用 GPT-4 进行代码改进可以显著提高代码质量，但生成的测试仍需要人类验证。

    Apr, 2023

  • 聊天机器人在数学和逻辑问题中的应用：ChatGPT-3.5、ChatGPT-4 和 Google Bard 的初步比较和评估

    对基于大型语言模型的三个聊天机器人（ChatGPT-3.5、ChatGPT-4 和 Google Bard）进行了比较，重点关注它们解决数学和逻辑问题的能力，并通过一系列测试发现对于简单的算术、代数表达式和基本的逻辑谜题，聊天机器人可能会提供准确的解决方案，但对于更复杂的数学问题或高级逻辑任务，它们的答案可能不可靠。ChatGPT-4 在两组问题中的表现均优于 ChatGPT-3.5，而 Bard 在 Set B 中表现最好。

    May, 2023

  • 评估 C++、Fortran、Go、Java、Julia、Matlab、Python、R 和 Rust 的 AI 生成代码

    通过评估 ChatGPT 3.5 和 4 版本在生成各种编程语言代码方面的能力，验证了这些 AI 模型用于生成科学程序的效力。通过要求 ChatGPT 生成三个不同的代码：简单的数值积分、共轭梯度求解器和并行一维模板热方程求解器来达到我们的目标。我们的分析重点是代码的编译、运行时性能和准确性。虽然 ChatGPT 的两个版本都成功创建了可以编译和运行的代码（在某种程度上需要帮助），但 AI 在使用某些语言时会更容易（可能是由于使用的训练数据集的规模）。甚至对于我们选择的这个简单示例来说，平行代码也很难由 AI 正确生成。

    May, 2024

  • 大型语言模型在本科入学考试中的西班牙语性能评估

    该研究评估了大型语言模型 (具体为 GPT-3.5 和 BARD) 在墨西哥国立理工学院提出的本科入学考试中的表现。这些考试涵盖了工程 / 数学和物理科学、生物和医学科学以及社会和行政科学。两个模型在不同的学术专业中表现出了一定的熟练程度，有些学术专业的最低录取分数都被超过了 75%。GPT-3.5 在数学和物理方面表现优于 BARD，而在历史和事实信息相关问题上，BARD 的表现较好。总体而言，GPT-3.5 的得分稍微超过了 BARD，分别为 60.94% 和 60.42%。

    Dec, 2023

  • ChatGPT 和 Bard 能否生成对齐的评估题目？针对人类表现的可靠性分析

    本文测试了 ChatGPT 和 Bard AI 技术在评估和教学领域的应用。使用 ICC 构建了性能指标来衡量它们的可靠性，结果显示，这两款 LLM 工具在感知和评估写作提示复杂性方面相对人类评分标准具有较低的一致性。

    Apr, 2023

  • OpenAi 的 GPT4 作为编码助手

    本文研究了 GPT3.5 和 GPT4 作为编码助手的性能，测试结果表明 GPT4 具有卓越的性能，可以提高程序员的生产力并重组基于这些新工具的软件开发流程。

    Sep, 2023

  • AI 增强的编程练习自动修正：GPT-3.5 的有效性如何？

    本文探讨了人工智能在提供个性化代码改正和生成反馈方面的潜力，根据两个真实作业的学生提交进行了调查，结果显示 73% 的提交正确识别，并且在这些情况中，GPT-3.5 还成功生成了有效且高质量的反馈。

    Oct, 2023

  • GPT-3 和 GPT-3.5 系列模型综合能力分析

    本研究选取了 6 个代表性的 GPT 系列模型，对它们在 21 个数据集上进行了 9 项自然语言任务的性能评估，发现尽管引入强化学习任务和人性化反馈机制提高了 GPT 系列模型生成人类语言的能力，但也有牺牲部分任务解决能力的代价，同时还有提高模型的鲁棒性的空间。

    Mar, 2023

  • Kattis 与 ChatGPT：人工智能时代编程任务的评估与评价

    本文研究了 ChatGPT 在入门编程课程中生成不同难度程度的代码解决方案的能力，并发现 ChatGPT 能够独立解决一部分编程问题，但在复杂任务上遇到困难，结果为编程教育中应用 AI 工具的效用问题提供了新的观点。

    Dec, 2023