Sep, 2023

超音速：在 C/C++ 中学习生成源代码优化

PDF
TL;DR通过使用序列到序列模型，本文介绍了一种名为 Supersonic 的神经方法，该方法针对源代码进行微小的修改以实现优化，实验证明 Supersonic 在代码优化任务中表现优于 OpenAI 的 GPT-3.5-Turbo 和 GPT-4，并且与 GPT-3.5-Turbo 相比改动幅度减少了超过 600 倍，与 GPT-4 相比改动幅度减少了超过 3700 倍。
software optimizationautomated optimizationsource code levelsupersonicneural approach
发现论文，激发创造
  • 学习超优化现实世界程序

    本文提出了一种使用神经序列到序列模型来学习超级优化现实世界程序的框架，并介绍了一种易于实现的方法（SILO）来增强优化，该方法在测试集上优化了 5.9％，超过了标准策略梯度方法和模型预训练的优化演示。

    Sep, 2021

  • 程序超优化学习

    本研究提出了一种新的基于学习的方法来对程序进行超优化，该方法利用无偏估计梯度来学习建议分布以提高程序性能，实验表明，该方法能够在超优化方面显着优于现有的基于规则和基于随机搜索的方法。

    Nov, 2016

  • Souper: 一种综合的超级优化器

    通过 Souper 合成超级优化器进一步推进了编译器优化自动化，检测到 Souper 的中间表示与 Microsoft Visual C ++ 中的表示相似，成功地应用于对这个编译器的优化。LLVM 和 Microsoft Visual C ++ 编译器的最终版本都含有 Souper 推荐的但是手动实现的优化。同时，应用 Souper 作为完全自动化优化的半个优化器的 Clang 编译器二进制文件比 LLVM 编译的二进制文件小 3 MB（4.4％）.

    Nov, 2017

  • Synchromesh：基于预训练语言模型的可靠代码生成

    本文提出了 Synchromesh 作为一种增强预训练语言模型在代码生成中可靠性的框架。它通过 Target Similarity Tuning 选择语义上相似的训练样例，并采用 Constrained Semantic Decoding 方法在不需要额外训练的前提下约束输出代码的合法性，从而提高了模型的实用性和运行效率。作者在使用 GPT-3 和 Codex 两种模型在 SQL 查询、Vega-Lite 可视化和 SMCalFlow 编程语言中进行实验，展示了 CSD 在约束语义、范围、类型规则和上下文逻辑等方面的有效性。

    Jan, 2022

  • CodeTrans: 通过自监督深度学习和高性能计算破译硅谷代码语言

    本研究使用 CodeTrans—— 一种编码器 - 解码器 transformer 模型，在六个软件工程任务中探究了 encoder-decoder transformer 模型的有效性，并调查了各种训练策略的影响，包括单任务学习、迁移学习、多任务学习和多任务学习与微调。结果表明，CodeTrans 在所有任务上均优于现有模型。该研究为软件工程领域的未来工作提供了有力的支持，并公开了预训练模型。

    Apr, 2021

  • 编程语言的无监督翻译

    在这篇论文中，我们提出了使用无监督机器翻译的最新方法来训练一种全自动的神经源代码转换器，并演示了它在 C ++，Java 和 Python 之间以高精度翻译功能。

    Jun, 2020

  • 零样本强化学习实现的超编译器代码优化

    CodeZero 是一个基于人工智能的编译优化工具，通过深度强化学习的方式训练智能代理，能够在单次试验中为每个程序即时生成有效的优化策略。在基准测试套件和生产级代码优化问题上的评估结果表明，CodeZero 具有超级编译器性能和零 - shot 泛化能力，超过了由编译器专家设计的内置优化选项。我们的方法为人工智能在工程领域的潜力提供了启示，并为在代码优化领域扩展机器学习技术铺平了道路。

    Apr, 2024

  • 使用图神经网络改进代码摘要

    本文提出了一种使用图神经网络的自动代码注释生成方法，该方法使用了源代码序列和图结构信息作为输入，使用 210 万个 Java 方法 - 注释对进行评估，并表明比四种基线技术均有所改进。

    Apr, 2020

  • 自我教导优化器 (STOP): 递归自我改进代码生成

    使用语言模型加持的搭脚手架程序作为种子，通过多次调用语言模型查询并返回最佳解决方案的方式，改进输入程序并实现自我提升。在此基础上，通过分析搭脚手架程序的自我提升策略，包括束搜索、遗传算法和模拟退火，证明现代语言模型（以我们的概念验证实验中的 GPT-4 为例）可以编写能够调用自身以实现自我提升的代码。同时，对于搭脚手架程序的开发引发的自我改进技术可能带来的问题，以及生成的代码绕过沙盒的频率进行了评估。

    Oct, 2023

  • 无监督编程语言翻译：总结和生成到回译

    本文提出了通过代码摘要和生成实现反向翻译的方法，该方法通过自然语言（NL）摘要生成源代码，然后通过源代码再生成目标语言。结果表明，该方法与现有的最先进方法相比性能相当好。

    May, 2022