Nov, 2012

随机超优化

PDF
TL;DR使用马尔可夫链蒙特卡洛采样器快速探索所有可能的程序空间，将循环无关的二进制超级优化任务表示为随机搜索问题，将变换正确性和性能改进的竞争约束编码为成本函数，虽然我们的方法牺牲了完整性，但我们能够考虑到的程序范围和我们所生产的程序的质量远超过现有的超级优化器，我们的原型实现，STOKE，能够从 llvm -O0 编译的 64 位 X86 二进制代码开始，生成与或胜过启用全面优化的 gcc 生成的代码序列，并且在某些情况下能够胜过专家手写的汇编语言。
发现论文，激发创造
  • 程序超优化学习

    本研究提出了一种新的基于学习的方法来对程序进行超优化，该方法利用无偏估计梯度来学习建议分布以提高程序性能，实验表明，该方法能够在超优化方面显着优于现有的基于规则和基于随机搜索的方法。

    Nov, 2016

  • 程序超优化的学习 - 工作坊版

    该论文介绍了使用强化学习学习建议分布来提高超级优化技术中的随机搜索方法，该方法改进了当前程序的修改建议，通过解决程序修改建议的优化问题可用于压缩程序，提高程序速度及减小程序文件大小。

    Dec, 2016

  • 学习超优化现实世界程序

    本文提出了一种使用神经序列到序列模型来学习超级优化现实世界程序的框架，并介绍了一种易于实现的方法（SILO）来增强优化，该方法在测试集上优化了 5.9％，超过了标准策略梯度方法和模型预训练的优化演示。

    Sep, 2021

  • 迭代遗传改进：扩展随机程序合成

    提出了一种名为迭代性遗传改进的基于随机程序综合的新框架，用于以一种更加健壮的方式逐步增加程序的复杂性，并在列表操作和字符串转换上表现出可观的优越性。

    Feb, 2022

  • 面向顺序转移优化的可伸缩测试问题生成器

    本文针对现有的测试问题不能很好地设计 STO 问题，提出了表示 STO 问题的简单概念，介绍了被之前的研究所忽视的重要问题特征，提出了一些设计准则和一种具有超强可扩展性的问题生成器以及 12 个 STOPs 的基准套件，可以用来比较不同的 STO 算法。

    Apr, 2023

  • 使用随机计算图形式化方法优化序列对序列模型

    利用随机计算图形式化了一种以别名函数为损失函数的机器翻译优化问题，提供了统一的视角，可以帮助研究人员开发带有内嵌随机节点的新网络架构。

    Nov, 2017

  • 自适应序列随机优化

    介绍了一种框架，用于解决凸随机极小化问题，其中目标函数变化缓慢，通过应用选择的优化算法，例如随机梯度下降（SGD），来顺序地解决极小化问题。有两种跟踪标准来评估近似极小值的质量，一种是基于对均值轨迹的准确性，另一种是基于高概率的准确性。提供了估计极小值变化的技术，以及分析结果表明最终估计会上限极小值的变化。这个估计量提供了样本量选择规则，保证了足够的时间步长使跟踪标准得到满足。实验表明，该估计方法在实践中提供了所需的跟踪精度，同时在每个时间步中使用的样本数量方面是高效的。

    Oct, 2016

  • 低层级循环程序归纳合成的步骤

    提出一种基于 MAKESPEARE 简单推迟接受式爬山法的归纳编程综合方法，该方法可以从输入 / 输出示例中合成低级循环程序，成功解决了之前未解决的 “Collatz Numbers” 程序合成问题，并在一些基准测试中表现出色，在整数数组的快速排序问题中观察到组合排序的出现。

    Nov, 2018

  • 随机优化的概率线搜索

    本文提出了一种结合确定性方法和 Bayesian 优化概念的概率线性搜索算法，使用高斯过程代理优化目标，并使用 Wolf 条件的概率信念来监控下降，有效地消除了对随机梯度下降的学习率的定义。

    Feb, 2015

  • 概率线性搜索用于随机优化

    将现有的确定性优化方法的结构与贝叶斯优化的概念相结合，构建了一种概率线搜索算法，用于处理只有随机渐变可以获得的情况，并有效地消除了定义随机梯度下降的学习率的需要。

    Mar, 2017