- 训练代码大型语言模型时,揭示监督微调和强化学习之间的相关性
通过综合消融研究,我们发现:(1)原子函数和合成函数对于 SFT 的泛化至关重要,仅少量合成函数即可;(2)通过 RL,即使使用相同的训练提示,可以极大增强 SFT 对目标领域的泛化能力;(3)从头开始训练 RL 可以减轻 SFT 阶段引入 - 自组织代理:面向超大规模代码生成和优化的 LLM 多代理框架
最近大型语言模型 (LLM) 代理实现的自动代码生成取得了重要进展,但现有的单代理方法面对生成和改进大规模复杂代码库的限制,该论文提出了自组织多代理框架 (SoA),这是一种新的多代理框架,能够实现大规模代码的可扩展和高效生成优化。在 So - 利用大型语言模型引导枚举式程序合成
本文评估了预训练大型语言模型在解决正式综合基准测试中的能力,并提出了一种将语言模型与枚举综合算法相结合的新颖算法,结果显示该方法在性能上明显优于独立使用语言模型或枚举综合器,以及在 SyGuS 竞赛中取胜的工具。
- 基于 LLM 的代码生成中的偏见评估与缓解
基于最新的大型语言模型 (LLMs) ,本研究提出了一个面向代码生成任务的新型偏差评估框架,并对九种最先进的 LLM-based 代码生成模型进行了广泛评估。研究发现,我们评估的代码生成模型中有 31.45% 到 79.93% 的代码函数存 - QIGen:大型语言模型量化推理的高效内核生成
我们提出了一种自动代码生成的新方法,用于支持 LLMs(如 LLaMA 或 OPT)上的量化生成推理,并在现成的 CPU 上做了研究,结果表明我们的方法在性能和准确性方面较好。
- 揭示与量化代码生成中的社交偏见
研究了预训练代码生成模型中的社交偏见问题,提出了一种新的方法来构建代码提示,以量化生成代码中的社交偏见严重程度并找出不同人口群体之间的细微差异,并分析得出低社交偏见的代码生成模型选择的有用见解。
- 从 BDD 测试用例规范生成代码:愿景
使用基于机器学习和人工智能的方法来生成 Angular 框架的前端组件代码,重点关注自动化代码生成、开发效率提升、软件质量提高等研究问题。
- 将人工智能配对编程的离线度量与人类价值判断对齐
研究表明,具有实现代码自动生成能力的大型语言模型的正确性及努力度均对程序员的价值有影响,建议设计出更人性化的评估指标以评估这些模型的优劣。
- GAP-Gen: Python 代码自动化导向生成工具
该论文提出一种名为 GAP-Gen 的方法,用于自然语言描述的自动生成 Python 代码,该方法受到 Python 语法和语义约束的指导,通过在细调过程中改进而非预训练,在自动 Python 代码生成任务上实现更好的结果。
- COLING指向源代码中生成函数名称的子单词
本文提出两种策略以解决代码中低频率或字典外的子单词的自动生成问题,并在 Java 编程中的数据集上提高了 F1 分数和准确度。
- ICML学习推理程序草图
本文介绍一种用于程序自动合成的方法,通过结合模式识别和显式推理来解决这些复杂的编程问题,同时使用新颖的中间表示和训练算法,使程序合成系统能够自学,从而在简单的英文描述编程问题数据集上取得了最先进的性能表现。
- NIPS具有学习垃圾收集器的长程序的自动程序合成
本文研究给定样例输入输出对自动生成代码的问题,使用神经网络从当前状态和输出映射到程序的下一个语句,同时优化多个任务:从一组高级命令选择下一个操作,确定下一个语句的操作数以及可以从内存中删除哪些变量。使用该方法,我们能够创建比现有最先进的解决