基于检索引导的强化学习的布尔电路最小化

ICLRJan, 2024

基于检索引导的强化学习的布尔电路最小化

Retrieval-Guided Reinforcement Learning for Boolean Circuit Minimization

Animesh Basak Chowdhury, Marco Romanelli, Benjamin Tan, Ramesh Karri, Siddharth Garg

TL;DR本研究对逻辑综合的学习和搜索技术进行了彻底的研究，发现预训练代理器在面对全新设计时可能偏离轨道，从而对搜索轨迹产生不利影响。我们提出了 ABC-RL，这是一个经过精心调整的 α 参数，能够在搜索过程中熟练地调整来自预训练代理器的建议。基于与训练数据集的最近邻检索相似性分数计算得到的 ABC-RL 针对广泛的硬件设计提供了优越的综合方案。我们的发现展示了合成电路质量结果（QoR）的显著改进，与现有技术相比，提高了最高达 24.8% 的性能。此外，与当前最先进的方法相比，ABC-RL 在运行时间上实现了高达 9 倍的减少（iso-QoR）。

Abstract

logic synthesis, a pivotal stage in chip design, entails optimizing chip specifications encoded in hardware description languages like Verilog into highly efficient implementations using Boolean logic gates. The

logic synthesis chip design logic minimization learning and search techniques abc-rl

发现论文，激发创造

AISYN: 基于强化学习的人工智能逻辑综合框架

通过应用强化学习算法，可以更好地解决逻辑综合中的局部最小值问题，从而实现对细胞面积等重要指标的显著优化。

Feb, 2023

INVICTUS: 基于协同学习和搜索优化布尔逻辑电路综合

研究提出了 INVICTUS，一个基于模型的离线强化学习（RL）解决方案，可自动生成一系列基于先前设计的训练数据集的逻辑化简启发式的序列，以用于芯片设计的逻辑合成。结果表明，与最先进的技术相比，INVICTUS 在合成电路的面积时延乘积（ADP）方面有显着改进，改进达到了最先进技术的 30% ，同时在运行时间方面还实现了高达 6.3 倍的降低。

May, 2023

DRiLLS: 深度强化学习用于逻辑综合

提出了一种基于强化学习的方法，自动化优化逻辑综合过程，通过训练 Actor Critic（A2C）智能体来实现无人工干预的设计优化，取得了较好的优化结果。

Nov, 2019

基于增强学习的实用高效量子电路综合与映射

通过使用强化学习方法，将其整合到量子传递工作流中，实现了量子电路的综合和路由优化，且在速度和优化的效果上明显超越其他方法，在实际的量子传递过程中显示出很高的实用性。

May, 2024

定向量子电路综合的强化学习环境

利用强化学习环境，通过量子电路综合的方式可靠设计最小量子电路，针对目标初始化和量子比特数量进行了实验，达到对 2 比特贝尔态的选择性设计。

Jan, 2024

基于逻辑约束强化学习的认证策略合成

LCRL 使用 Limit Deterministic Buchi Automata（LDBA）来表达给定的线性时间规范，并利用 LDBA 结构来实时塑造强化学习算法的奖励函数。在适当假设下，理论保证强化学习算法收敛到最优策略，最大化满足概率。案例研究表明，相对于传统 RL 方法，由于 LDBA 引导的探索和 LCRL 的无模型架构，我们观察到 CCRL 的鲁棒性表现更好，而且在可应用于 LTL 规范的情况下，性能也得到了良好的扩展。

Sep, 2022

深度强化学习的量子电路优化

本研究使用基于强化学习的方法对量子电路进行优化，通过深度卷积神经网络，实现了对于特定架构的任意量子电路的自主学习及优化。对 12 比特电路进行实验得出优化效果，平均深度降低 27％，门数降低 15％，并探讨了方法在近期量子设备上的可行性。

Mar, 2021

ABC 强化学习

该论文介绍了一个基于 ABC 的简单通用框架，用于无似然贝叶斯强化学习，该算法主要利用先验分布，能够应用在基于详细模拟模型的领域，试验结果证实了该算法在 LSPI 比较中具有潜在优势，并引入了一个定理，证明了该算法是原则上可行的。

Mar, 2013

Quarl: 基于学习的量子电路优化器

Quarl 是一种基于学习的量子电路优化器，通过将行动空间分解为两部分并利用图神经网络在状态表示中进行引导，解决了量子电路优化中的行动空间和状态表示的挑战，它在几乎所有基准电路上都明显优于现有的电路优化器，能够学习执行复杂的非局部电路优化。

Jul, 2023

通过强化学习实现产品 - 公式哈密顿模拟的编译

深度强化学习在无序量子电路编译任务中表现优异，减少了大约 50% 的门数量，并展示了机器学习技术在量子编译任务中的辅助能力。

Nov, 2023