Jun, 2024

指导而非协助：基于 LLM 的多轮规划和分层提问用于苏格拉底代码调试

PDF
TL;DRSocratic questioning is used as a teaching strategy in the code debugging domain, and TreeInstruct, an Instructor agent guided by a state space-based planning algorithm, effectively assists students in identifying and resolving errors through multi-turn interactions, demonstrating state-of-the-art performance in both single and multi-bug datasets.
socratic questioningteaching strategylarge language modelstreeinstructcode debugging
发现论文，激发创造
  • 语言模型是否能使用苏格拉底方法？代码调试实验

    通过创建数据集并使用不同的语言模型进行基准测试，我们介绍了一个多轮 Socratic 建议的手动数据集，旨在帮助初学者程序员修复简单计算问题的错误解决方案，以及自动化 Socratic 对话代理的调试能力评估。

    Oct, 2023

  • 多轮指导对话的归纳 - 演绎策略重用

    利用复杂对话流程的明确建模，从各种真实对话中提取高级策略并将其应用于新的对话情境，以产生多样化、深入和富有洞见的指示，以提高大型语言模型与人类期望的一致性。

    Apr, 2024

  • SOCRATIC QUESTIONING 的艺术：利用递归思维和自问自答进行零样本多模态推理

    本研究提出了 Socratic Questioning 算法，该算法模拟了人类在解决复杂问题时分治的思维过程，并应用于视觉问答任务，取得了在三个公共基准数据集上都显著超过对照组的性能提升。

    May, 2023

  • 使用数据增强和优化偏好改进苏格拉底问答生成

    通过使用强化学习反馈和直接优化方法，我们提出了一种数据增强方法和优化模型来处理大型语言模型生成的无效问题，实验结果显示，经过优化的 LLama 2 模型在生成有效问题方面优于现有的方法。

    Mar, 2024

  • SPL: 由大型语言模型驱动的苏格拉底学习场

    通过基于 GPT-4 模型的苏格拉底学习法的对话式智能辅导系统（SPL），我们的研究展示了大型语言模型如何增强基于对话的智能辅导系统，并扩展了教育技术的可访问性和效力。

    Jun, 2024

  • 教学数学应用题的苏格拉底子问题自动生成

    通过提出各种引导问题生成方案，基于输入条件和强化学习探索了大型语言模型在引导数学词问题求解中生成顺序问题的能力，发现在这种约束性问题的属性下，可生成高质量的问题，并提高了整体问句求解的性能。通过初步用户研究发现，提出的许多问题对于教育领域有潜在的价值。

    Nov, 2022

  • 调试的交互模式探索：增强人工智能助手的对话能力

    通过与行业专业人员进行的被试用户研究，我们发现装备了 LLM 以利用插入扩展交互模式、促进轮流讲话并利用调试工作流的增强型对话式 AI 助手 Robin，降低了对话障碍，实现了有效的故障定位，并提高了 5 倍的错误解决率。

    Feb, 2024

  • 基于上下文的代码风格学习方法在基于知识的问题回答中的应用

    通过在大型语言模型中使用代码风格的上下文学习方法，从而解决了知识基础问题回答中逻辑格式错误的问题，并在少样本设置下实现了 WebQSP、GrailQA 和 GraphQ 等主流数据集上的最新技术水平。

    Sep, 2023

  • 苏格拉底规划器：基于问题引导的零样本规划模型与实体指令跟随

    Socratic Planner 是第一个无需训练数据的零样本规划方法，在 Embodied Instruction Following 领域中通过自问自答将指令分解为子目标的结构信息，并通过密集视觉反馈动态调整计划，在 ALFRED 基准测试中取得了竞争性的性能，在需要高维推理的任务中表现出色。

    Apr, 2024

  • 回答知识密集型复杂问题的概率思维推理

    大型语言模型（LLMs）能够用链式思维推理回答知识密集型复杂问题，但当模型的参数中缺少所需的知识或不是最新的时，它们往往会产生错误的推理步骤。本文提出一种新方法：概率思维树推理（ProbTree）。在开放领域的情境下，我们利用外部知识检索加强链式推理，通过解决从叶节点到根节点的问题，考虑问题分解和回答的置信度，在推理过程中消除了负面检索问题，并借助层次结构对非叶节点进行全局推理，从而弥补了局部错误。实验证明，我们的方法在三个复杂问答数据集上显著优于最先进方法，证明了概率思维树推理的有效性。

    Nov, 2023