本研究提出了一种新的基于学习的方法来对程序进行超优化，该方法利用无偏估计梯度来学习建议分布以提高程序性能，实验表明，该方法能够在超优化方面显着优于现有的基于规则和基于随机搜索的方法。

Nov, 2016

该论文介绍了使用强化学习学习建议分布来提高超级优化技术中的随机搜索方法，该方法改进了当前程序的修改建议，通过解决程序修改建议的优化问题可用于压缩程序，提高程序速度及减小程序文件大小。

Dec, 2016

通过使用序列到序列模型，本文介绍了一种名为 Supersonic 的神经方法，该方法针对源代码进行微小的修改以实现优化，实验证明 Supersonic 在代码优化任务中表现优于 OpenAI 的 GPT-3.5-Turbo 和 GPT-4，并且与 GPT-3.5-Turbo 相比改动幅度减少了超过 600 倍，与 GPT-4 相比改动幅度减少了超过 3700 倍。

Sep, 2023

使用马尔可夫链蒙特卡洛采样器快速探索所有可能的程序空间，将循环无关的二进制超级优化任务表示为随机搜索问题，将变换正确性和性能改进的竞争约束编码为成本函数，虽然我们的方法牺牲了完整性，但我们能够考虑到的程序范围和我们所生产的程序的质量远超过现有的超级优化器，我们的原型实现，STOKE，能够从 llvm -O0 编译的 64 位 X86 二进制代码开始，生成与或胜过启用全面优化的 gcc 生成的代码序列，并且在某些情况下能够胜过专家手写的汇编语言。

Nov, 2012

CodeZero 是一个基于人工智能的编译优化工具，通过深度强化学习的方式训练智能代理，能够在单次试验中为每个程序即时生成有效的优化策略。在基准测试套件和生产级代码优化问题上的评估结果表明，CodeZero 具有超级编译器性能和零 - shot 泛化能力，超过了由编译器专家设计的内置优化选项。我们的方法为人工智能在工程领域的潜力提供了启示，并为在代码优化领域扩展机器学习技术铺平了道路。

Apr, 2024

使用语言模型加持的搭脚手架程序作为种子，通过多次调用语言模型查询并返回最佳解决方案的方式，改进输入程序并实现自我提升。在此基础上，通过分析搭脚手架程序的自我提升策略，包括束搜索、遗传算法和模拟退火，证明现代语言模型（以我们的概念验证实验中的 GPT-4 为例）可以编写能够调用自身以实现自我提升的代码。同时，对于搭脚手架程序的开发引发的自我改进技术可能带来的问题，以及生成的代码绕过沙盒的频率进行了评估。

Oct, 2023

本文探索一种新的用于训练浅层神经网络的优化算法，该算法使用重新强化学习的方法，可以解决高维随机优化问题，即使在梯度和神经网络架构的随机性变化时，该算法训练出的优化算法始终优于其他已知的优化算法，能够成功将 MNIST 神经网络问题泛化到在多种不同数据集上进行的神经网络问题。

Mar, 2017

本文介绍了一种用于改进现有程序的本地搜索方法，即基于单项游戏评分提高程序效率的 POLIS 方法，在 27 人的用户研究中得到验证，可以作为可衡量目标的编程问题的有用助手。

Jul, 2023

提出了一种建立在大型语言模型和强化学习基础上的框架，用于减少代码优化的复杂性并提供更高的效率和可靠性。

Dec, 2023

该论文提出了一种自适应神经编译框架来解决高效节目的学习问题，并展示了如何使用可微表示将程序编译为不同 iable 的表示，并通过考虑输入数据分布来优化这种表示，以实现为给定数据分布学习特定调整算法的目标。

May, 2016