Feb, 2023

强化学习在宏观布局评估中的应用

PDF
TL;DR本研究提供了 Google Brain 在深度强化学习中应用于宏观布局及其电路训练的开放、透明的实现和评估。同时，我们实现了 CT 的关键 “黑盒” 元素，并澄清了 CT 和 Nature 论文之间的差异，并通过新的测试用例进行评估。最终我们与多个其他宏观布局工具进行了评估，评估流程和相关脚本都公开在 GitHub 上。本实验还涵盖了学术混合大小布局基准以及消融和稳定性研究。我们还对 Nature 和 CT 的影响以及未来研究方向进行了评论。
google braindeep reinforcement learningcircuit trainingmacro placementevaluation flows
发现论文，激发创造
  • 基于强化学习的人类约束下的直角宏放置

    该研究提出了一种利用 Google 的电路训练方法 (G-CT) 的方法，提供了一种基于学习的宏放置器，不仅支持放置矩形案例，而且遵循重要的人类设计原则，实验证明了该框架在实现功耗 - 性能 - 面积（PPA）指标上的有效性和与人工干预产生的高质量放置的可比性，并且该方法显示出解决不同宏形状和布局区域的潜力。

    Nov, 2023

  • 虚假黎明：重新评估谷歌用于芯片宏放置的强化学习

    谷歌在《自然》杂志上发表的物理硅芯片设计强化学习研究存在方法和结果不当的质疑，两项独立评估显示，它表现远不及人类设计师、著名模拟退火算法和一般可获得的商业软件，而且《自然》论文真实性受到了错误行为、分析和报告的破坏。

    Jun, 2023

  • 芯片设计中联合学习解决放置和路由问题

    通过深度强化学习方法 DeepPlace 和 DeepPR，结合梯度优化和强化学习，编码输入宏单元的全局图层和本地节点层信息的多视图嵌入模型，并通过鼓励探索的随机网络蒸馏方法，有助于解决现代芯片设计过程中的放置和路由问题。

    Oct, 2021

  • 使用深度强化学习进行芯片布局

    本文提出了一种基于学习的芯片布局方法，使用强化学习将芯片画布上芯片网络节点的摆放视作问题，并训练代理人生成以往未见芯片块的优化布局，最终旨在最小化能耗、性能与面积（PPA）。实验结果表明，该方法可在 6 小时内生成可与人工专家相媲美的布局。

    Apr, 2020

  • 基于深度强化学习的 FPGA 分而治之布局

    本文介绍了学习在可编程门阵列（FPGA）中放置逻辑块的问题和一种基于学习的方法，通过强化学习（RL）来最小化线长，同时提出了一种新颖的分解方法以解决在芯片上放置多个块时的大搜索空间问题。实证实验评估了学习和分解范式在 FPGA 放置任务中的有效性。

    Apr, 2024

  • 宏观布局的贝叶斯优化

    本文提出了一种基于 Bayesian optimization 算法的宏块布局方法，相对于强化学习等黑盒优化方法，其更具有样本效率且可以通过数据进行自适应学习。通过固定轮廓宏块摆放问题，并以半周长导线长度为目标函数衡量，实验得出了具有竞争力的性能优化算法。

    Jul, 2022

  • 芯片布局的灵活多目标强化学习

    本文提出一种灵活的多目标强化学习方法 (MORL)，使用单个预先训练的模型来支持具有推理时间变量权重的目标函数，并成功地将其应用于芯片布局中，有效地生成多个目标的 Pareto 前沿。

    Apr, 2022

  • 使用强化学习实现硬件木马注入

    本文利用强化学习 (Reinforcement Learning，RL) 自动化硬件特洛伊（Hardware Trojan, HT）嵌入过程，以消除制约 HT 检测方法成果的人为偏见。作者开发的工具集可以将组合 HT 插入 ISCAS-85 基准套件，具备 HT 大 小和触发条件的变化性，并证明了其效果高，输入覆盖率高达 100％，所插入的 HT 具有最小的体积和罕有的激活概率。

    Apr, 2022

  • DG-RePlAce：数据流驱动的 GPU 加速机器学习加速器分配框架

    本研究提出了一种基于 GPU 加速和 OpenROAD 基础设施的快速全局布局框架 DG-RePlAce，通过利用机器学习加速器的固有数据流和数据路径结构，实现了路由线长度减少 10％（7％）和总负预留时间减少 31％（34％），并且全局布局速度更快，总运行时间与 DREAMPlace 相当。实证研究还表明，对于机器学习加速器，相较于 RePlAce 和 DREAMPlace，在后续路由中的改进效果可能超出原始应用。

    Mar, 2024

  • 基于图表示的学习排序芯片排列顺序探索

    提出一种基于学习排序网络的芯片组件布置方法，通过优化放置顺序以降低芯片间互连线长度和系统温度，从而显著改善芯片组件布置过程中的性能。

    Apr, 2024