Aug, 2023

询问澄清问题是否增强 AI 生成代码的信心？关于大型语言模型的沟通能力

PDF
TL;DR通过使用大型语言模型生成的沟通工具，提出了一种以沟通为中心的过程，通过提出澄清问题来改善生成代码时存在的不明确意图规范、缺乏计算思维和不符合期望的代码质量等挑战，以提高对生成代码的信心。
large language modelscode generationcommunication skillsclarifying questionsconfidence in generated code
发现论文，激发创造
  • 一般编程语言中代码生成的澄清问题

    通过收集并提出一个名为 CodeClarQA 的新数据集，研究人员证实使用澄清问题可以有效解决自然语言描述中模糊不清的部分，从而提高生成的可执行程序代码的准确性。

    Dec, 2022

  • 深思熟虑：通过内心独白培养大型语言模型的沟通技巧

    通过设计和添加内心独白，通过提示工程和上下文学习的方式，使大型语言模型（LLMs）更具人类形象和积极主动的对话能力，并构建评估模型对话生成能力的综合性基准 CSkills，并实验证明了所提出的 CSIM 策略在自动评估和人工评估上优于基准模型。

    Nov, 2023

  • 必要时澄清：通过与语言模型的交互解决多义性

    我们提出了一个任务无关的框架来通过询问用户澄清问题来解决模型中的歧义，我们的方法在确定何时需要澄清、确定要问的澄清问题以及通过澄清获得的新信息方面都取得了显著成果，并对模型的不确定性进行了估计，我们的方法在准确识别需要澄清的预测方面始终优于现有的不确定性估计方法，使系统能够在仅允许在 10％的示例上进行澄清时将性能提升两倍。

    Nov, 2023

  • 比较由学生和大型语言模型创建的代码解释

    通过对大型语言模型进行评估，并将其与学生创建的代码解释进行比较，本文发现自动生成的 LLM 代码解释具有更高的准确性和易理解性，从而提供了一种解决教育中代码解释挑战的新方法。

    Apr, 2023

  • 用于提高 LLMs 代码可靠性的目标验证问题链

    通过自我完善方法，在没有人工介入和测试用例的情况下，通过针对初始代码中的特定节点使用目标验证问题（VQs），提高 LLM 生成代码的可靠性，并通过针对特定的 VQs 和初始代码重新提示 LLM 来修复潜在的漏洞。评估结果表明，我们的方法优于现有方法，减少了代码中目标错误的数量达到 21% 至 62%，同时提高了可执行代码实例的数量达到 13%。

    May, 2024

  • 大型语言模型驱动的对话系统中增加领域可迁移性的澄清问题引入技巧改进

    基于 LLM 的澄清策略具有范领域迅速转化的能力，但在未知领域上表现不佳，我们引入一种名为 Style 的新方法，实现了有效的领域迁移，实验结果表明 Style 在四个未知领域上平均搜索性能提升了约 10%。

    May, 2024

  • 辅助清理代码的 LLM 用于培训准确的代码生成器

    通过改善数据质量，例如进行代码转换和模块化，自然语言生成代码的性能可以得到显著提升。研究结果还表明，使用较少但高质量的数据进行模型微调可以优于在原始数据集上进行微调。

    Nov, 2023

  • 关于运用大型语言模型促进数学学习的三个问题

    通过研究大语言模型在教育应用中的潜力，该论文探讨了如何利用大语言模型提供适应性反馈来帮助学生学习数学，并提出了与此相关的挑战。

    Oct, 2023

  • 在适当时候提出正确问题：人类和模型不确定性对于提问澄清问题的指导

    通过团队对话任务为实验平台，研究模型不确定性与人类不确定性之间的关系，提出了一种基于模型不确定性估计的生成澄清问题的方法，并与其他几种方法进行对比，显示出在任务成功方面有显著的改进。

    Feb, 2024

  • 如果 LLM 是巫师，那么代码就是魔棒：关于代码如何赋予大语言模型作为智能代理的调查

    通过将代码集成到大型语言模型的训练数据中，可以提高语言模型的代码生成能力、推理能力以及生成结构化和精确的中间步骤，并将其转化为智能代理在复杂自然语言任务中的应用。

    Jan, 2024