程序超优化学习

ICLRNov, 2016

Learning to superoptimize programs

Rudy Bunel, Alban Desmaison, M. Pawan Kumar, Philip H.S. Torr, Pushmeet Kohli

TL;DR本研究提出了一种新的基于学习的方法来对程序进行超优化，该方法利用无偏估计梯度来学习建议分布以提高程序性能，实验表明，该方法能够在超优化方面显着优于现有的基于规则和基于随机搜索的方法。

Abstract

code super-optimization is the task of transforming any given program to a more efficient version while preserving its input-output behaviour. In some sense, it is similar to the paraphrase problem from natural language processing where the intention is to change the syntax of an utter

code super-optimization stochastic search-based methods learning-based approach gradient estimators program optimization

发现论文，激发创造

程序超优化的学习 - 工作坊版

该论文介绍了使用强化学习学习建议分布来提高超级优化技术中的随机搜索方法，该方法改进了当前程序的修改建议，通过解决程序修改建议的优化问题可用于压缩程序，提高程序速度及减小程序文件大小。

Dec, 2016

学习超优化现实世界程序

本文提出了一种使用神经序列到序列模型来学习超级优化现实世界程序的框架，并介绍了一种易于实现的方法（SILO）来增强优化，该方法在测试集上优化了 5.9％，超过了标准策略梯度方法和模型预训练的优化演示。

Sep, 2021

随机超优化

使用马尔可夫链蒙特卡洛采样器快速探索所有可能的程序空间，将循环无关的二进制超级优化任务表示为随机搜索问题，将变换正确性和性能改进的竞争约束编码为成本函数，虽然我们的方法牺牲了完整性，但我们能够考虑到的程序范围和我们所生产的程序的质量远超过现有的超级优化器，我们的原型实现，STOKE，能够从 llvm -O0 编译的 64 位 X86 二进制代码开始，生成与或胜过启用全面优化的 gcc 生成的代码序列，并且在某些情况下能够胜过专家手写的汇编语言。

Nov, 2012

自适应神经编译

该论文提出了一种自适应神经编译框架来解决高效节目的学习问题，并展示了如何使用可微表示将程序编译为不同 iable 的表示，并通过考虑输入数据分布来优化这种表示，以实现为给定数据分布学习特定调整算法的目标。

May, 2016

零样本强化学习实现的超编译器代码优化

CodeZero 是一个基于人工智能的编译优化工具，通过深度强化学习的方式训练智能代理，能够在单次试验中为每个程序即时生成有效的优化策略。在基准测试套件和生产级代码优化问题上的评估结果表明，CodeZero 具有超级编译器性能和零 - shot 泛化能力，超过了由编译器专家设计的内置优化选项。我们的方法为人工智能在工程领域的潜力提供了启示，并为在代码优化领域扩展机器学习技术铺平了道路。

Apr, 2024

超音速：在 C/C++ 中学习生成源代码优化

通过使用序列到序列模型，本文介绍了一种名为 Supersonic 的神经方法，该方法针对源代码进行微小的修改以实现优化，实验证明 Supersonic 在代码优化任务中表现优于 OpenAI 的 GPT-3.5-Turbo 和 GPT-4，并且与 GPT-3.5-Turbo 相比改动幅度减少了超过 600 倍，与 GPT-4 相比改动幅度减少了超过 3700 倍。

Sep, 2023

Opti Code Pro: 基于启发式搜索的代码重构方法

使用基于启发式搜索的技术来解决代码重构中特定的耦合和内聚问题，并在 Java 项目上实现该算法及其有效性进行了演示。

May, 2023

学习推理程序草图

本文介绍一种用于程序自动合成的方法，通过结合模式识别和显式推理来解决这些复杂的编程问题，同时使用新颖的中间表示和训练算法，使程序合成系统能够自学，从而在简单的英文描述编程问题数据集上取得了最先进的性能表现。

Feb, 2019

使用机器学习进行编译器自动调优的调查

本研究调查总结了近年来关于编译器优化领域中使用机器学习解决编译器优化问题的最新进展及应用，特别是针对两个主要问题：选择最佳优化和优化的阶段排列。

Jan, 2018

迭代遗传改进：扩展随机程序合成

提出了一种名为迭代性遗传改进的基于随机程序综合的新框架，用于以一种更加健壮的方式逐步增加程序的复杂性，并在列表操作和字符串转换上表现出可观的优越性。

Feb, 2022