Mar, 2024

ChatGPT4PCG 2 比赛：科学鸟类级别生成的提示工程

PDF
TL;DR该研究论文介绍了 2024 年 IEEE 游戏会议上的第二届 ChatGPT4PCG 竞赛，它旨在推动和探索面向程序化内容生成的提示工程。通过引入多样性度量、允许提交 Python 程序以及改进评估流程等措施，该竞赛旨在解决第一届竞赛中的限制问题，同时对新度量和改进评估器的有效性进行评估，并通过消融研究选择函数签名来指导 ChatGPT 进行关卡生成。
发现论文，激发创造
  • ChatGPT4PCG 比赛：为科学鸟类生成类似角色的级别

    本文介绍了第一届 ChatGPT4PCG 竞赛，在 2023 年 IEEE 游戏会议上举行。该竞赛的目标是参赛者通过创造有效的提示，让 ChatGPT 生成稳定而具有人物特质的《科学鸟》水平 —— 充分利用他们的创造力和提示工程技能。

    Mar, 2023

  • 大学级编程课中人类、GPT-3.5 和 GPT-4 的性能比较

    ChatGPT 的变种 GPT-3.5 和 GPT-4 在大学级别的物理编码作业中，通过性能评估及有无提示工程与仅有学生作品和学生与 GPT-4 贡献混合类别相比较，共收集了 300 个数据点。研究发现，尽管 AI 生成的作品接近于大学生的质量，但常常可以被人类评估者发现。

    Mar, 2024

  • 利用 ChatGPT 提示模式改善代码质量、重构、需求引出和软件设计

    本文介绍了利用大型语言模型 (ChatGPT) 自动化软件工程活动，如确保代码与第三方库解耦和模拟 Web 应用程序 API 的快速设计技术。该文提供了解决软件工程中常见问题的模式目录，并探讨了几个应用模式以改善需求概述、快速原型、代码质量、重构和系统设计。

    Mar, 2023

  • ChatGPT 在美国工程基础考试中的表现：对熟练程度的全面评估和对环境工程实践的潜在影响

    本文介绍了使用基于 GPT-4 的 ChatGPT 模型进行工程基础考试的可行性和有效性，并通过非侵入式提示修改实现了模型的显著精度提升。该研究进一步探讨了复杂工程问题的解决方案，并强调了 AI 在教育领域中的挑战，如如何实现 AI 对不同种族和背景学生的包容性和无歧视性。

    Apr, 2023

  • ChatGPT 与机械工程：在 FE 机械工程和本科考试中的表现分析

    本研究探讨了 ChatGPT 在机械工程学科中的能力，并通过使用大学提供的初级和高级机械工程考试题目以及机械工程基础考试（FE）的模拟题目，分析了两个 ChatGPT 模型的回答。结果发现，付费订阅模型（GPT-4）在正确率上远远超过免费版本（GPT-3.5），但由于两个模型仅支持文本输入，因此都不太可能通过 FE 考试。研究结果确认了 ChatGPT 在文献中关于错误类型和陷阱的发现，其最适合具有专业知识的用户使用。

    Sep, 2023

  • 分析 ChatGPT 在计算机工程导论课程中的适应能力

    本文旨在评估人工智能工具 ChatGPT 在计算机工程学科中的表现；研究发现它可以回答关于概念的问题，但由于它是一种文字工具，所以无法处理需要用到图表和手工实验的问题。

    Mar, 2023

  • 英语作为外语中学生通过 ChatGPT 完成写作任务的案例

    本篇研究分析了 EFL 学生在使用 ChatGPT 完成写作任务时的提示内容，探讨了提示质量和数量的模式，并提出了在 EFL 写作课堂中提供提示工程教育的必要性。

    Jun, 2023

  • 通过提示工程实现 ChatGPT 越狱：一项实证研究

    本研究研究了 Large Language Models（LLMs）中存在的内容限制和潜在误用的挑战，并调查了与破解 LLMs 相关的三个关键问题：不同提示类型的数量、提示对抗 LLMs 限制的有效性以及 ChatGPT 对这些提示的鲁棒性。该研究根据分类模型分析现有提示的分布，识别了 10 种不同模式和三种破解提示类别。此外，研究利用 8120 个问题的数据集，评估了 ChatGPT 版本 3.5 和 4.0 中破解提示的能力，最终发现提示可以在 40 个用例场景中始终逃脱限制。该研究强调了提示结构在破解 LLMs 中的重要性，并讨论了生成和防止鲁棒破解提示的挑战。

    May, 2023

  • 文本生成的转移提示学习

    本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

    May, 2022

  • 通过提示工程优化机器翻译：ChatGPT 可定制性的研究探讨

    这篇论文探讨了将翻译目的和目标受众整合到 ChatGPT 的提示中对所生成翻译质量的影响。研究强调了翻译过程中的前期准备阶段的重要性，通过借鉴以往的翻译研究、行业实践和 ISO 标准进行分析。研究发现，在像 ChatGPT 这样的大规模语言模型中加入适当的提示可以产生灵活的翻译，而传统的机器翻译尚未实现这一目标。通过使用 OpenAI 的词嵌入 API 进行余弦相似度计算，评估从从实际翻译员的视角主观和定性地进行，结果表明将翻译目的和目标受众整合到提示中确实可以修改所生成的翻译，从而在行业标准上普遍提高翻译质量。该研究还展示了 “良好的翻译” 概念的实际应用，特别是在营销文件和文化习语的背景下。

    Aug, 2023