- BANSAI:通过神经符号编程缩小工业机器人 AI 应用差距
使用神经符号人工智能与数据驱动的子符号程序综合和优化,BANSAI 方法通过桥接人工智能应用差距,提出了现代工业机器人程序编制工作流的解决方案。
- 排行榜排名高 = 编码能力一直出众吗?通过 LLM 实现演进的编码基准评估
通过 EvoEval 基准套件的引入,评估 LLM 在编码方面的能力,我们的研究展示了 51 个 LLM 的性能显著下降(平均下降 39.4%),从而显示了现有基准的潜在过拟合,并展示了指令跟随模型在重述或微小更改时的脆弱性以及学习问题组成 - 半指导:连接自然指导和自我指导的大型编码语言模型
指令调优在大规模代码语言模型(Code LLMs)中对程序合成任务至关重要。本文提出一种名为 Semi-Instruct 的方法,通过将自然指令中不规范代码转化为正确的指令 - 代码对,并设计了一种新颖的测试用例构建方法来验证生成代码的正确 - 最新 GPT 模型的人工评估 -- 2024
使用 GPT-4 模型改进程序综合,通过与 Huamn Eval 连接的代码库展示了在 Python 代码生成上与先前最先进的解决方案相比具有竞争力的性能,同时促进了多步骤范式综合。
- SwissNYF: 面向黑盒设置的基于工具的 LLM 代理
利用大型语言模型的程序合成能力,在黑盒环境中规划工具使用,有效应对复杂 API 交互,解决可扩展性和安全性等挑战。
- AI 黑盒子的开启:基于机械解释的程序合成
基于神经网络的机制可解释性自动合成方法 MIPS,将学习到的算法自动转化为 Python 代码,解决了 62 个可以由 RNN 学习的算法任务中的 32 个问题,并对 GPT-4 的补充具有高度互补性,且不使用人工训练数据。
- ReGAL: 重构程序以发现可通用抽象
通过改善大型语言模型的抽象能力和预测的准确性,提出了一种名为 ReGAL 的梯度自由学习方法来重构代码并学习可复用函数库,从而在多个领域中提高程序预测的准确性。
- 用进化程序合成自动化设计多重网格方法
本论文介绍了一种基于语法引导遗传编程的进化程序综合技术,用于发现具有高效性和泛化能力的具有前所未有结构的多重网格方法,从而解决部分微分方程的数值求解问题。该方法的可行性通过 Python 框架 EvoStencils 的实现得到证明。
- KEN: 自然语言使用的内核扩展
该论文介绍了使用自然语言作为内核扩展的输入,结合大型语言模型和符号执行技术,通过合成和理解程序的结果构建内核扩展,以改善写入 eBPF 程序的困难。通过新的自然语言提示语料库,评估表明,该方法在正确生成 eBPF 程序方面提升了 2.67 - LLM4TDD:使用大型语言模型进行测试驱动开发的最佳实践
使用测试驱动开发方法,将大型语言模型指导进行迭代式代码生成,以提高软件系统正确性的程序综合方法。通过在 ChatGPT 和 LeetCode 编码问题上进行实证评估,研究不同测试、提示和问题属性对 LLM4TDD 方法有效性的影响。
- 生成实用示例用于训练神经程序合成器
本文提出了一种使用神经网络在编程示例中选择信息性数据集的新方法,并在合成正则表达式任务上验证了该方法的有效性,相对于不选择信息性示例训练的模型,其性能提高了 23%(相对增长了 51%),并且与使用人类数据进行训练的监督学习模型的表现相当。
- 逻辑导向的深度强化学习在股票交易中的应用
本文提出了一种名为 SYENS 的新型逻辑引导交易框架,它通过程序合成和层次化交易策略在动态股市中稳定地行为。实验证明,SYENS 在现金交易和保证金交易设置下,在累积收益和最大回撤方面都明显优于基准。
- 最佳优先自顶向下的程序合成
该论文通过引入一种名为 Bee Search 的新的最佳优先从底向上搜索算法,解决了现有的基于成本指导的底向上搜索算法在信息损失和成本函数排序方面的问题。实证结果表明,Bee Search 在更复杂的领域特定语言(DSLs)中优于现有的成本 - B-Coder:基于价值的深度强化学习在程序合成中的应用
程序合成通过从自然语言描述中创建准确的可执行代码。本文研究了基于增强学习和预训练语言模型的价值方法在程序合成中的应用,并展示了其在性能上达到了最新水平。
- 基于网格的强化学习环境中的通用和可解释知识学习
使用程序合成方法对深度强化学习代理进行模仿,以了解其学习的概念和决策过程。
- 使用排序法摊销实用的程序合成
在程序综合中,通过使用 Rational Speech Acts(RSA)框架,一个智能系统接收用户生成的示例集合并返回与这些示例在逻辑上一致的程序。本文介绍了一种使用全局实用排序的新型 RSA 算法摊销方法,通过该方法可以在在线、多示例设 - 正则表达式推理挑战
提出正则表达式推理(REI)作为代码 / 语言模拟的挑战,并对更广泛的机器学习社区提出。REI 是一项监督式机器学习和程序综合任务,通过示例来找到最小的正则表达式。最近在 GPU 上实现了 REI 求解器,首次实现了用于复杂 REI 实例的 - 基于强化学习的语法引导综合
在这项研究中,我们将通用 SyGuS 问题作为树搜索框架,并提出了一种基于蒙特卡洛树搜索 (MCTS) 的增强学习引导合成算法。我们的算法结合了学习到的策略和值函数,以及平衡探索和利用的树上置信上界。我们还介绍了一种基于现有一阶可满足性问题 - RLTF:来自单元测试反馈的强化学习
利用强化学习提升大型语言模型的程序合成生成能力,通过采用多粒度的单元测试反馈信号来指导模型生成高质量代码。
- LambdaBeam:使用高阶函数和 Lambda 进行神经程序搜索
设计了一种搜索算法 LambdaBeam,在 DSL 中构建任意 Lambda 函数的语义向量表示,并训练神经策略网络,将它们作为参数传递给高阶函数进行循环计算,相比基于神经网络、符号和 LLM 的技术,在整数列表操作领域性能更优。