程序超优化的学习 - 工作坊版
本研究提出了一种新的基于学习的方法来对程序进行超优化,该方法利用无偏估计梯度来学习建议分布以提高程序性能,实验表明,该方法能够在超优化方面显着优于现有的基于规则和基于随机搜索的方法。
Nov, 2016
本文提出了一种使用神经序列到序列模型来学习超级优化现实世界程序的框架,并介绍了一种易于实现的方法(SILO)来增强优化,该方法在测试集上优化了 5.9%,超过了标准策略梯度方法和模型预训练的优化演示。
Sep, 2021
使用马尔可夫链蒙特卡洛采样器快速探索所有可能的程序空间,将循环无关的二进制超级优化任务表示为随机搜索问题,将变换正确性和性能改进的竞争约束编码为成本函数,虽然我们的方法牺牲了完整性,但我们能够考虑到的程序范围和我们所生产的程序的质量远超过现有的超级优化器,我们的原型实现,STOKE,能够从 llvm -O0 编译的 64 位 X86 二进制代码开始,生成与或胜过启用全面优化的 gcc 生成的代码序列,并且在某些情况下能够胜过专家手写的汇编语言。
Nov, 2012
本文提出了一种新的程序合成方法,将寻找最优程序的问题转化为基于强化学习的马尔科夫决策过程, 并将这种方法应用于浮点数 RISC-V 汇编语言的子集上,并结合基于搜索技术的优先搜索树,证明了我们的方法相较于其他基线方法的优越性
Jun, 2018
本文提出了一个算法,通过寻找超级教学集来让学习者在少量的数据上表现得更好,该算法在回归和分类问题中表现良好,并在高斯分布的均值的最大似然估计和 1D 大边界分类器上提供超级教学保证。
Feb, 2018
本论文将超参数优化问题建模为一系列决策问题,并用强化学习方法来解决,通过优化选择下一个待优化的超参数,从而提高模型性能。在 50 个数据集上的实验表明,该方法优于目前超参数学习领域的其他方法。
Jun, 2019
CodeZero 是一个基于人工智能的编译优化工具,通过深度强化学习的方式训练智能代理,能够在单次试验中为每个程序即时生成有效的优化策略。在基准测试套件和生产级代码优化问题上的评估结果表明,CodeZero 具有超级编译器性能和零 - shot 泛化能力,超过了由编译器专家设计的内置优化选项。我们的方法为人工智能在工程领域的潜力提供了启示,并为在代码优化领域扩展机器学习技术铺平了道路。
Apr, 2024