Sep, 2024

用于MLIR编译器自动代码优化的强化学习环境

HTML
PDF
TL;DR本研究解决了自动代码优化中繁琐复杂的问题，提出了首个针对MLIR编译器的强化学习环境，通过多动作强化学习实现更有效的代码优化。实验结果表明，这一新环境在多个案例中不仅与TensorFlow性能相当，甚至超越了其效果，展现了基于强化学习的优化在编译器框架中的潜在影响。
发现论文，激发创造
  • 编译器优化中的机器学习

    介绍机器学习与编译器优化的关系，并提供了特征、模型、训练和部署的主要概念。对目前不同的研究领域进行了全面调查和路线图，并讨论了该领域的未解决问题和潜在研究方向。本文提供了机器学习基础编译的易于理解的介绍和主要成果的详细文献。

    May, 2018

  • MLGOPerf: 一种ML引导的内联器以优化性能

    本文提出了MLGOPerf框架，该框架可利用LLVM的ML-Inliner来优化性能，并通过副模型生成用于训练强化学习主模型的奖励，实现快速训练的流程。实验结果表明，相对于LLVM的优化，该方法在SPEC CPU2006和Cbench基准测试中可以实现高达1.8%和2.2%的性能提升。

    Jul, 2022

  • 基于深度强化学习的执行代码生成

    利用深度强化学习算法的 PPOCoder 框架，将预训练编程语言模型与外部执行反馈相结合，用于自动化代码生成任务，并在多项实验中展示了其在编译成功率和语法正确性方面的显著效果。

    Jan, 2023

  • B-Coder：基于价值的深度强化学习在程序合成中的应用

    程序合成通过从自然语言描述中创建准确的可执行代码。本文研究了基于增强学习和预训练语言模型的价值方法在程序合成中的应用，并展示了其在性能上达到了最新水平。

    Oct, 2023

  • 代码合成的自动生成单元测试数据与演员-评论者强化学习

    自动获取适用于代码合成模型的强化学习训练数据，结合简单而有效的演员-评论家强化学习训练方案，提高预训练代码语言模型的性能。

    Oct, 2023

  • 下一步的700个ML启用的编译器优化

    我们提出了ML-Compiler-Bridge，利用传统的Python框架，实现了ML模型在优化编译器中的开发和高效的端到端集成。通过在多个优化问题、多个编译器及其版本和gym基础设施上进行研究和生产应用的评估，解决了模块化、性能和框架独立性等挑战。

    Nov, 2023

  • 利用强化学习和大型语言模型进行代码优化

    提出了一种建立在大型语言模型和强化学习基础上的框架，用于减少代码优化的复杂性并提供更高的效率和可靠性。

    Dec, 2023

  • StepCoder: 基于编译器反馈的强化学习提升代码生成

    使用大型语言模型（LLMs）进行代码生成的研究，引入了一个新的强化学习框架StepCoder，通过将代码生成任务拆分为完成代码片段的课程，以及屏蔽未执行代码段进行模型优化，成功解决了复杂人类需求下RL探索和模型优化的挑战，并通过构建APPs+数据集进行了实验验证。

    Feb, 2024

  • 离线多基线模仿学习及其在编译器优化中的应用

    通过学习一种简单的基于模仿学习的算法，本研究证明了在强化学习领域中，使用多个基线策略进行集合轨迹的训练可以得到能在整个状态空间上与最佳组合基线策略相匹配的策略，并将该算法应用于机器学习辅助编译器优化，以学习内联程序的策略，以便生成较小的二进制文件。通过几次迭代，实验证明我们的方法能够优于通过标准强化学习方法学习的初始策略。

    Mar, 2024

  • 零样本强化学习实现的超编译器代码优化

    CodeZero是一个基于人工智能的编译优化工具，通过深度强化学习的方式训练智能代理，能够在单次试验中为每个程序即时生成有效的优化策略。在基准测试套件和生产级代码优化问题上的评估结果表明，CodeZero具有超级编译器性能和零-shot泛化能力，超过了由编译器专家设计的内置优化选项。我们的方法为人工智能在工程领域的潜力提供了启示，并为在代码优化领域扩展机器学习技术铺平了道路。

    Apr, 2024