Jul, 2024

从合成的输入输出对中学习程序行为模型

HTML
PDF
TL;DR模型生成器（Modelizer）是一个基于黑盒程序使用神经机器翻译从其输入/输出行为学习模型的新颖框架，所得到的模型可以对给定输入预测程序应该生成的输出，同时还可以预测导致给定输出的输入。模型生成器能够以程序行为的某个特定方面为目标进行预测，并需要执行程序的能力。生成的模型规模小，对于Markdown或HTML等语言而言只需要不到630万个参数，且具有较高准确率和BLEU得分，可以用于嘲笑真实世界应用程序以及预测和合成特定行为。
发现论文，激发创造
  • TerpreT：一种用于程序归纳的概率编程语言

    本文介绍了一种面向编程求解的领域特定语言TerpreT，它能够通过四种不同的后端进行推理，探索了不同领域、程序表示和解释模型的应用，并将模型说明与推理算法分离，提供了比较不同推理方法的基础。通过对多种程序模型的若干解释器模型进行广泛的经验比较，本文认为约束求解器优于基于梯度下降和基于LP松弛的方法。

    Dec, 2016

  • RobustFill: 基于神经网络的程序学习在嘈杂输入输出情况下的稳健性

    比较了自动程序学习的两种竞争方法，包括神经程序综合和神经程序归纳，同时将基于规则的程序综合作为对比，研究表明各种方法的实际效果与评价标准及最终应用息息相关；模型使用变量大小的 I/O 对的修改注意力 RNN 可以提高模型的准确率，并在真实世界数据的实验中表现出很强的鲁棒性。

    Mar, 2017

  • 从输入输出示例中合成复杂程序的探索

    本文介绍了一种使用深度学习和强化学习实现程序合成的方法，该方法以非可微分机器为基础，并具有递归和强化学习的特点，能够训练出用于生成计算机程序的上下文无关解析器。该方法可实现测试输入在训练样本长度500倍以上时的100％测试准确率。

    Jun, 2017

  • 利用语法和强化学习进行神经程序合成

    本文提出了两种新的方法来解决程序合成中的限制，分别通过增加语义正确生成的概率和语法正确的程序的概率来解决。

    May, 2018

  • 通过示例生成神经编程数据

    本论文介绍了一种用SMT求解器合成覆盖给定程序多样化行为的输入的新方法，并通过与现有合成数据生成程序的比较进行了案例研究，发现使用该方法生成的数据既能提高样例集的差异性，也能提高训练后的机器学习模型对未知数据的推广能力。

    Nov, 2019

  • 大语言模型的程序综合

    本文探索了大型语言模型在通用编程语言的程序合成方面的局限性，并在新的基准测试中评估了这些模型的性能。作者在两个基准测试（MBPP和MathQA-Python）上测试了这些模型，结果表明这些模型的性能随着其大小的增加而呈现对数线性关系。他们研究了这些模型进行对话以及语意建模的能力，并发现即使是最好的模型也无法完全预测某些程序的输出。

    Aug, 2021

  • 神经程序合成中的组合泛化和分解

    本文介绍了一种测量神经程序合成方法能否组合泛化的方法，引入了基于两个流行数据集的任务基准套件，以评估合成器在组合泛化方面的能力，最后通过新的注意机制来改进变压器模型的组合泛化能力

    Apr, 2022

  • 分层神经程序合成

    本文提出了一种可扩展的程序合成框架，通过层级组合程序实现程序合成，该框架可以从输入/输出对中合成比之前更长、更复杂的程序，并通过任务嵌入空间和程序解码器将任务嵌入解码为程序。

    Mar, 2023

  • CodeGen2：训练大型语言模型处理编程和自然语言的经验教训

    本文研究如何通过整合模型架构、学习方法、填充采样和数据分布等四个关键组件来提高大型语言模型在程序综合方面的训练效率，并在 1B LLMs 上开展了一系列实验，提炼出四个教训并发布了 CodeGen2 模型和训练框架。

    May, 2023

  • 训练于编程语言的语言模型中有意义迹象的证据

    本文研究使用程序语言这一中间测试平台，探究语言模型是否能够理解语义，并发现Transform模型可通过样例抽象出当前和未来程序状态，使用的探测器准确率与执行输入所生成的程序一致。文中还提出了一种语义干预的实验方法，并展示了模型能够生成更短、更正确的程序。

    May, 2023