Jan, 2024

LangProp：一种应用于驾驶的基于语言模型的代码优化框架

PDF
TL;DRLangProp 是一个用于大型语言模型（LLMs）生成的代码的迭代优化框架，在监督 / 强化学习环境中使用。LangProp 自动评估代码在输入输出数据集上的性能，并捕获任何异常，然后将结果反馈给 LLM 以在训练循环中迭代改进生成的代码。这是自动驾驶的代码优化的第一个概念验证，表明 LangProp 能够生成可解释和透明的驾驶策略，可以在基于度量和数据的方式上进行验证和改进。
langpropcode optimizationlarge language modelsautomated code optimizationautonomous driving
发现论文，激发创造
  • PropTest：自动性质测试以改进视觉编程

    通过使用大型语言模型，我们提出了 PropTest 策略来改进可视化编程，这一策略可生成用于测试可视化属性的代码解决方案，提高可视化推理任务的性能和泛化能力。

    Mar, 2024

  • 利用强化学习和大型语言模型进行代码优化

    提出了一种建立在大型语言模型和强化学习基础上的框架，用于减少代码优化的复杂性并提供更高的效率和可靠性。

    Dec, 2023

  • miniCodeProps：证明代码属性的最小基准

    利用神经网络的数学定理证明、代码验证和自动化定理证明等领域的研究，提出了一个测试用例，旨在进一步发展形式验证代码的自动定理证明。

    Jun, 2024

  • PROPANE：逆问题中的即时设计

    本研究提出了一个自动化提示优化框架 PROPANE，旨在找到一个提示，能够在没有用户干预的情况下诱导出与给定示例语义相似的输出。进一步证明 PROPANE 可以用于改进现有提示，并发现在模型之间传输的语义混淆提示。

    Nov, 2023

  • LaMPilot：一个用于自动驾驶的开放基准数据集与语言模型程序

    我们提出了 LaMPilot，一个新颖的自主驾驶规划框架，将任务重新定义为一个利用已建立的行为基元的代码生成过程，旨在解决解释和执行 spontanous 用户指令（如 “超过前面的车”）的挑战，这通常对现有框架构成困难。我们介绍了 LaMPilot 基准，专门设计用于量化大型语言模型（LLMs）在将人类指令转化为可执行驾驶策略方面的效能。我们还在 LaMPilot 基准的任务上评估了一系列最先进的代码生成语言模型。实验结果显示，带有人类反馈的 GPT-4​​的任务完成率达到了 92.7％，最小碰撞率为 0.9％。为了鼓励进一步的研究，我们将提供代码和数据集。

    Dec, 2023

  • Agent-Pro: 通过策略层面的反思与优化进行学习进化

    Agent-Pro 是基于 LLM 的智能代理，具备策略级别的反思和优化能力，可以通过互动经验不断学习和提升行为策略，在复杂和动态场景中表现出色。

    Feb, 2024

  • 大型语言模型作为优化器

    在此工作中，我们提出了一种名为 OPRO 的优化方法，利用大型语言模型作为优化器，通过自然语言描述优化任务。我们首先展示了 OPRO 在线性回归和旅行商问题上的应用，然后转向优化提示，目标是找到最大化任务准确性的指令。我们通过多种大型语言模型的实验证明，OPRO 通过优化提示的方式胜过人工设计的提示，在 GSM8K 上提高了最多 8％，在 Big-Bench Hard 任务上提高了最多 50％。

    Sep, 2023

  • 提示作为探究：利用语言模型进行知识库构建

    本文提出了一种名为 ProP 的方法，它利用 GPT-3 这个大型语言模型进行知识库构建任务，结合多种提示技巧，结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等，从而获得了较高的预测质量。

    Aug, 2022

  • 神经语言模型的属性归纳框架

    通过神经语言模型进行财产归纳，研究发现它们基于类别成员资格表现出归纳偏好，暗示了其表述中存在分类偏差。

    May, 2022

  • LangPro: 自然语言定理证明器

    LangPro 是一种自然语言自动证明器，使用基于专门设计的自然逻辑的分析表格方法，能够推导出前提和假设之间的语义关系，并在 FraCaS 和 SICK 文本蕴含数据集上达到了可与最先进技术相媲美的高结果。

    Aug, 2017