通过将神经网络的编译器优化问题作为强化学习问题，本文提出了一种新的解决方案，名为 ReLeASE，它通过聚类来聚焦于代表性点上的昂贵采样，并且通过在较短的时间内更好地探索来提高样本的质量。实验表明，使用自适应采样的强化学习可以大大加快优化时间并提高现代深度网络的推理时间。

May, 2019

LOOPer 是第一个使用基于深度学习的代价模型的多面体自动调度器，覆盖了大量的仿射变换和程序。它支持探索大量的仿射变换序列，并且支持具有多个循环嵌套和矩形 / 非矩形迭代域的程序的优化。我们实现和评估了 LOOPer，并展示其比现有技术获得了加速。在 Polybench 基准测试中，LOOPer 相对于 Tiramisu 获得了 1.59 倍的几何平均加速度，以及相对于 Pluto 获得了 1.34 倍的几何平均加速度，Pluto 是一个不使用基于机器学习的代价模型的多面体编译器。

Mar, 2024

TVM 是一个深度学习编译器，可将深度学习工作负载在各种硬件后端上具有良好的性能移植性，通过学习基于成本模型的方法，自动进行低级程序的硬件特征优化，实验结果表明，TVM 在处理低功率 CPU、移动 GPU 和服务器级 GPU 的竞争性能与手工调优库类似，并能定位到新的加速器后端，如基于 FPGA 的深度学习通用加速器。

Feb, 2018

该论文介绍了 TensorIR 编译器抽象，用于优化具有张量计算原语的程序，通过 TensorIR 编译可以自动化优化深度学习模型，实验结果表明 TensorIR 编译使用特定的硬件后端的张量计算原语，并在各平台上提供了与手动优化系统相当的性能竞争力。

Jul, 2022

通过存储参数在系统的指定端口上并允许动态调整，我们提出了一个新的框架 LiveTune，允许在训练过程中实时调整参数，从而提供持续的训练会话。通过对我们的框架进行广泛评估，我们发现每次超参数改变可以节省高达 60 秒和 5.4 千焦的能量。

Nov, 2023

该论文介绍了一个基于深度学习工作负载的张量程序优化学习框架，其通过学习领域特定的统计成本模型来引导张量操作实现的搜索，进而加速搜索，实现性能与手动调整的图书馆竞争力相当。

May, 2018

本论文通过使用贝叶斯优化提出了一种新的 TVM 自动调优框架，并利用 TVM 张量表达语言实现了 LU、Cholesky 和 3mm 等线性代数核，通过在 Argonne 国家实验室的一个 GPU 集群 Swing 上评估这些方法的有效性，将所提出的自动调优框架与四个调优器的 TVM 自动调优框架 AutoTVM 进行了比较，并发现在大多数情况下我们的框架优于 AutoTVM。

Sep, 2023

本文提出一种深度强化学习方法，以最小化优化器中神经网络计算图的执行成本。该方法通过离线训练优化器，然后推广到以前未见过的图形，以避免在同一图形上进行更多的训练。通过比较广泛的基线，我们的方法在运行时间和峰值内存使用量上比经典和其他基于学习的方法都取得了显着的改进。

May, 2019

深度学习推荐模型（DLRM）是许多现代推荐系统的重要组成部分。本文研究数据摄取问题的独特特性，提出了基于强化学习的数据流程优化方案 InTune，通过更有效地并行化数据加载和提高吞吐量，显著提高了在线数据摄取速率，并降低了空闲时间，增加了效率。

Aug, 2023

该论文提出了一种自动化的并行无导数优化框架 ——Autotune，它结合了多种专业的采样和搜索方法，可有效地调整机器学习模型的超参数，从而提高模型质量和训练效率，并通过并行计算和分布式训练优化算法的资源性能。

Apr, 2018