Jul, 2023

利用 LLMs 解析竞技编程解决方案

PDF
TL;DR本文提出自然语言解释和代码生成的联合任务用于解决竞技编程问题。通过实验结果表明，尽管在解决竞技级别编程问题方面表现不佳，但当前最先进的 LLMs 在描述和解释解决方案方面表现出强大的能力，进而提出解释生成方法学生成包含描述和分析的结构化解决方案说明。
competitive-level programmingreasoningcode generationnatural language explanationsllms
发现论文，激发创造
  • 竞赛级问题对 LLMs 的有效性评估

    评估大语言模型在 Codeforces 编程问题上的推理能力，发现了潜在的数据污染问题，并探索了多种方法来解决这些挑战，强调了评估 LLMs 真正推理能力的重要性和未来更强大推理能力和更好泛化性能的发展。

    Dec, 2023

  • 通过解释解决方案程序提取 LLM 中的算法推理

    通过解释解决方案来提取大型语言模型的推理能力，并将其应用于解决有竞争水平的编程挑战，从而实现了更高的解决率。

    Apr, 2024

  • 利用大型语言模型生成答案集程序

    本文提出了一种神经符号方法，将大型语言模型和答案集编程的优势相结合，以将逻辑谜题的自然语言描述转化为答案集程序。

    Jul, 2023

  • 探索多层次的 GPT 生成的编程提示如何支持或让初学者失望

    近期的研究将大型语言模型（LLMs）应用于多样的教育环境，包括提供自适应编程提示，一种专注于帮助学生在问题解决中前进的反馈类型。本研究通过使用 LLM Hint Factory 的思辨法研究，对 12 名初学者进行了研究，该系统提供四个级别的提示，从一般的自然语言引导到具体的代码辅助，格式和粒度不同。我们发现，仅凭高级自然语言提示可能无济于事，甚至具有误导性，尤其是在处理下一步或与语法相关的帮助请求时。添加低级的提示，如带有行内注释的代码示例，可以更好地支持学生。这些发现为定制内容、格式和粒度级别的帮助响应，以准确识别和满足学生的学习需求，开辟了未来的研究方向。

    Apr, 2024

  • 自然语言编程学习

    使用自然语言作为一种新的编程语言来描述任务过程，让其易于被人类和 LMMs 理解，并进一步借助 Learning to Program (LP) 方法通过学习来自训练集中的自然语言程序，优化复杂任务的问题解决能力，该方法在 AMPS 和数学两个数据集上的有效性得到验证，证明其性能超过直接零样本测试表现 18.3%。

    Apr, 2023

  • 导航迷宫：评估和提高 LLMs 处理搜索问题的能力

    最近，大型语言模型在数学和推理基准测试中取得了令人瞩目的表现。但是，它们在对人类而言相对容易的逻辑问题和谜题上仍然经常遇到困难。为了进一步研究这个问题，我们引入了一个名为 SearchBench 的新基准测试，其中包含 11 种独特的搜索问题类型，每种问题类型都配备了自动化流程来生成任意数量的实例，并分析 LLM 生成解决方案的可行性、正确性和最优性。我们发现，即使是最先进的 LLM 也无法完全以文本方式解决这些问题，例如 GPT4 只解决了 1.4% 的问题。SearchBench 的问题要求考虑到多个解决路径以及回溯，这对自回归模型构成了重大挑战。指导 LLM 生成解决问题的代码会有所帮助，但是仅有轻微的改进，例如 GPT4 的表现提升到了 11.7%。在这项工作中，我们展示了利用 A * 算法实现的上下文学习如何提高性能。当将这种优化方法与我们提出的多阶段多尝试方法相结合时，它的潜力得到了充分展现，将 GPT-4 的表现提升到了 57% 以上。

    Jun, 2024

  • 比较由学生和大型语言模型创建的代码解释

    通过对大型语言模型进行评估，并将其与学生创建的代码解释进行比较，本文发现自动生成的 LLM 代码解释具有更高的准确性和易理解性，从而提供了一种解决教育中代码解释挑战的新方法。

    Apr, 2023

  • 探索大型语言模型在解决编程问题中的鲁棒性

    该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。

    Jun, 2023

  • 探索大型语言模型用于代码解释

    使用各种大型语言模型自动生成代码片段的自然语言摘要，研究结果表明，代码语言模型优于其通用模型，而零 - shot 方法在训练集和测试集之间分布不同的数据集上取得了更好的结果。

    Oct, 2023

  • ChatGPT 与我的教授相比，是更好的解释者吗？：评估 LLMs 在对话中的解释能力与人类基准

    这篇研究论文探讨了解释的重要性和基于对话的方法，使用了大型语言模型（LLMs）来增强专家解释者在对话环境中的能力，并通过评估不同策略的效果来了解 LLMs 在生成解释性回应方面的能力。

    Jun, 2024