Dec, 2022

一般编程语言中代码生成的澄清问题

PDF
TL;DR通过收集并提出一个名为 CodeClarQA 的新数据集，研究人员证实使用澄清问题可以有效解决自然语言描述中模糊不清的部分，从而提高生成的可执行程序代码的准确性。
code generationnatural language descriptionspretrained language modelsclarification questionsambiguities
发现论文，激发创造
  • 询问澄清问题是否增强 AI 生成代码的信心？关于大型语言模型的沟通能力

    通过使用大型语言模型生成的沟通工具，提出了一种以沟通为中心的过程，通过提出澄清问题来改善生成代码时存在的不明确意图规范、缺乏计算思维和不符合期望的代码质量等挑战，以提高对生成代码的信心。

    Aug, 2023

  • 在开放域问答中提出澄清问题以处理歧义

    提出了一种基于澄清问题的开放领域问答方法，首先使用 InstructGPT 和手动修订生成澄清问题的数据集 CAMBIGNQ，然后设计了一系列任务和合适的评价指标，在模糊性检测和基于澄清问题的问答方面取得了 61.3 F1 和 40.5 F1 的成果。

    May, 2023

  • ClarQ：一个大规模且多样化的澄清问题生成数据集

    通过基于自监督的新型启动框架，从 stackexchange 中提取 post-comment 元组，利用神经网络分类器构建了一个多样化、大规模的澄清问题数据集。将该数据集应用于问题回答的下游任务的实验表明其效用，并放出名为 ClarQ 的含 173 个领域的 2M 个实例的数据集。其目的是促进澄清问题生成的研究，以提升对话和问题回答系统。

    Jun, 2020

  • CLAM: 基于生成式语言模型的模糊问题选择性澄清

    CLAM 是一个用于解决自然语言生成系统在回答用户含糊问题时存在的正确性问题的框架，可以发现并提示用户澄清问题，自动评估对话质量，并提升语言模型在混合问题上的准确率。

    Dec, 2022

  • 必要时澄清：通过与语言模型的交互解决多义性

    我们提出了一个任务无关的框架来通过询问用户澄清问题来解决模型中的歧义，我们的方法在确定何时需要澄清、确定要问的澄清问题以及通过澄清获得的新信息方面都取得了显著成果，并对模型的不确定性进行了估计，我们的方法在准确识别需要澄清的预测方面始终优于现有的不确定性估计方法，使系统能够在仅允许在 10％的示例上进行澄清时将性能提升两倍。

    Nov, 2023

  • 通过自然语言推理对澄清问题进行排名

    教机器提出澄清问题对于自然语言处理系统非常有用，本研究使用 Siamese BERT 模型，将 NLI 的特征运用在 StackExchange 数据集问题排序上，取得了相对于现有基线模型高达 40% 至 60% 的性能提升。

    Aug, 2020

  • 用于提高 LLMs 代码可靠性的目标验证问题链

    通过自我完善方法，在没有人工介入和测试用例的情况下，通过针对初始代码中的特定节点使用目标验证问题（VQs），提高 LLM 生成代码的可靠性，并通过针对特定的 VQs 和初始代码重新提示 LLM 来修复潜在的漏洞。评估结果表明，我们的方法优于现有方法，减少了代码中目标错误的数量达到 21% 至 62%，同时提高了可执行代码实例的数量达到 13%。

    May, 2024

  • 无需问题示例的开放领域澄清问题生成

    通过提出一个视觉基础的问题 - 回答模型框架，使用期望的信息量增益优化来产生极性澄清问题以消除人机对话中的误解，从而展示了该模型在目标导向的 20 个问题游戏中与人工回答者一起提出的问题如何提高交流成功率。

    Oct, 2021

  • 辅助清理代码的 LLM 用于培训准确的代码生成器

    通过改善数据质量，例如进行代码转换和模块化，自然语言生成代码的性能可以得到显著提升。研究结果还表明，使用较少但高质量的数据进行模型微调可以优于在原始数据集上进行微调。

    Nov, 2023

  • 为消除合同歧义生成澄清问题

    我们引入了一项新的法律 NLP 任务，通过生成澄清问题来识别合同中的歧义，从而帮助非法律相关的利益相关者获取引出需求所必需的细节。

    Mar, 2024