Mar, 2023

GPT 正在成为一个图灵机：以下是一些编程方法

PDF
TL;DR通过在适当的提示下，GPT-3 模型可以被触发执行循环，包括计算机科学课程或软件开发人员面试中常见的几个受欢迎算法，我们通过 Regimenting Self-Attention（IRSA）的三种方法之一（或组合）来触发执行和迭代。IRSA 在动态程序执行中带来比将模型替换为更强大的 GPT-4 更大的准确性增益。它在教育中有着广泛的应用，提示和响应类似于数据结构和算法课程中的学生作业。通过我们的发现，提示不需要完整覆盖任务示例即可触发算法行为，说明提示设计在 LLMs 的性能评估中的关键性作用比以前更为重要。
gpt-3regimenting self-attentioniterationscomputer science educationprompt design
发现论文，激发创造
  • RecurrentGPT：（任意）长文本的交互生成

    这篇论文介绍了 RecurrentGPT，它是一种神经网络模型，使用自然语言来模拟 LSTM 中的长短期记忆机制，从而实现生成任意长度的文本。不仅能生成 AI 生成内容（AIGC），还可以作为交互式虚构小说，直接与消费者进行互动， 是下一代计算机辅助写作系统的重要一步。

    May, 2023

  • 用大型语言模型（GPT）自动化编程作业反馈

    本实验研究使用 OpenAI 的 GPT-3.5 模型在一个自动化的评估平台上生成学生编程作业的个性化提示，实验小组依赖平台反馈较少但在启用 GPT 提示时表现得更好。

    Jun, 2023

  • 基于算法问题的 GPT-4 评测：对提示策略的系统评估

    GPT-4 在具有可控问题难度的三个算法任务中通过先进的提示技术展现了优越的准确性，证明了先进的大型语言模型在需要系统化泛化的挑战性任务中具备很强的基准性能。

    Feb, 2024

  • 使用 GPT-4 进行程序练习的反馈生成

    该研究探索了使用 GPT-4 Turbo 生成学生编程提交的反馈，研究结果显示相比 GPT-3.5，GPT-4 Turbo 在输出质量上有显著的改进，可以更准确地识别学生程序输出中的错误，并能为学生提供结构化和一致的反馈。此研究还增加了我们对大型语言模型在电子评估系统、教学场景和指导学生使用基于 GPT-4 的应用中潜力和限制的理解。

    Mar, 2024

  • AutoML-GPT：使用 GPT 进行自动化机器学习

    AutoML-GPT 是一种使用大型语言模型和任务导向提示的自动化训练管道，可自动处理数据、选择最佳模型架构和超参数优化，并在计算机视觉、自然语言处理等领域实现了显著的结果，对于许多 AI 任务具有广泛的适用性。

    May, 2023

  • GPT 循环：多智能体系统的自适应决策

    通过融合 Generative Pre-trained Transformers (GPT) 这类大型语言模型的高级推理能力和 Multiagent (MAS) 系统，这篇论文介绍了一种新的方法，“GPT-in-the-loop”，用于增强问题解决和解释能力。结合智能街灯物联网应用背景，该方法使代理人通过传感器、执行器和神经网络创建出一个能耗更低的照明系统，并与传统神经进化方法和软件工程师提供的解决方案进行了比较，凸显了 GPT 驱动的 Multiagent 系统在物联网中的潜力。

    Aug, 2023

  • 用 GPT 作为数学辅导老师：通过自定义习题生成来教授数学中的文字问题求解器

    本文提出一种利用大型语言模型（LLMs）提炼数学单词问题求解能力并将其转化为更小、更高效的学生模型的新方法，结合教育科学原则生成针对性的练习，从而实现个性化学习。实验结果表明，我们的方法在三个不同的基准测试中比 LLMs 更准确，并且使用的参数显著更少。

    May, 2023

  • 大型语言模型生成程序代码的系统评估

    GPT-4 在生成编程代码方面表现优异，优于其他大型语言模型，具备在不同编程语言之间翻译和学习的强大能力，同时具备与人类程序员相当的代码生成效率，表明其在编程代码生成和软件开发中具备可靠的助手潜力。

    Mar, 2024

  • 机器直觉：揭示 GPT-3.5 中类似人类直觉的决策制定

    本研究揭示了大型语言模型 (LLMs) 在某些情况下表现出具有人类直觉的行为，包括许多认知错误，并且通过使用 GPT-3.5 等最新技术的模型及进行人类直觉决策的试探研究证明了这一点，并探究了几种方法来测试 GPT-3.5 的倾向于类似直觉的决策及其机器行为等方面，以揭示出这些模型在认知科学方面的新兴特征和调整预期的潜力。

    Dec, 2022

  • GPT-4 使用自述功能成功自我解锁

    通过使用自我解释的迭代细化的对抗性提示，利用大语言模型的反射能力，本研究引入了一种名为 IRIS 的新方法来打破监狱，该方法将同一模型同时用作攻击者和目标，提高了破坏性，同时降低了查询次数，极大地改进了自动化、黑盒和可解释性的监狱打破效率，并为可解释性的监狱打破方法树立了新的标准。

    May, 2024