电路变压器：通过预测下一个门实现端到端电路设计

Mar, 2024

电路变压器：通过预测下一个门实现端到端电路设计

Circuit Transformer: End-to-end Circuit Design by Predicting the Next Gate

Xihan Li, Xing Li, Lei Chen, Xing Zhang, Mingxuan Yuan...

TL;DR通过预测下一个逻辑门，使用基于 Transformer 的神经模型对电子设计任务进行了改进，取得了显著的性能提升，并保持了严格的等效性约束。

Abstract

Language, a prominent human ability to express through sequential symbols, has been computationally mastered by recent advances of large language models (LLMs). By predicting the next word recurrently with huge neural models, LLMs have shown unprecedented capabilities in understanding

language models electronic design logic gates equivalence constraints circuit transformer

发现论文，激发创造

LLM 电路分析在训练和尺度方面的始终如一性

追踪了 70 百万到 28 亿参数规模的 3000 亿标记的解码器型大语言模型中模型机制的出现和演化，发现任务能力和支持它们的功能组件在规模不同的情况下一致地出现，并且虽然这些组件可能随时间由不同的注意力头实现，但其实施的总体算法保持不变。这些结果表明，在预训练结束后进行的对小型模型的线路分析仍然适用于额外的预训练和不同规模的模型。

Jul, 2024

预训练 Transformer 中的知识传递

研究人员通过深入研究语言模型的计算图，发现知识电路在表达特定知识方面起到了重要作用。他们还评估了当前知识编辑技术对这些知识电路的影响，并利用知识电路分析和解释语言模型的行为。这些研究为我们理解 Transformer 的工作原理以及指导知识编辑的改进设计提供了深入的见解。

May, 2024

定位 Transformer 中的跨任务序列延续电路

通过对序列相似性任务的电路分析与比较，我们揭示了语义相关的序列依赖于具有类似角色的共享电路子图，并且共享计算结构的记录有助于更好地预测模型行为、识别错误和更安全的编辑过程，这对于构建更健壮、对齐和可解释的语言模型是一个关键步骤。

Nov, 2023

基于生成深度神经网络的逻辑综合

本文介绍了一种基于 Circuit Transformer 模型的逻辑综合重写操作符，通过将现有技术和 Circuit Transformer 相结合，解决了规模可扩展性问题，并在 IWLS 2023 竞赛基准上证明了提出的重写方法的有效性。

Jun, 2024

跨码器寻找可解释的 LLM 特征电路

通过使用转码器，我们成功地将 MLP 子层训练为具有更宽、稀疏激活的 MLP 层，并在稀疏性、忠实度和人类可解释性方面至少与稀疏自编码器 (SAEs) 持平，进而通过 MLP 子层进行基于权重的电路分析，最终成功地解析出 GPT2-small 中的大于电路，并发现转码器在将包含 MLP 的模型计算分解为可解释电路方面具有良好效果。

Jun, 2024

从语言到电路：使用自然语言描述生成可运行的电子设备

本文介绍了一项新的研究成果，展示了当代语言模型具有电子电路设计技能的能力，类似于代码生成。研究人员引入了两个基准：评估模型知识电气元件的 Pins100 和评估模型设计常见微控制器电路和代码的 Micro25。其中包括六个案例研究，展示语言模型作为设计助手的应用，同时提出了一些研究挑战和发展方向建议。

May, 2023

CIRCUITSYNTH: 利用大型语言模型进行电路拓扑综合

通过使用 CIRCUITSYNTH 方法，利用 LLMs 技术自动生成合法电路拓扑结构，可以提高电路的性能和符合设计要求。

Jun, 2024

通过复用经验证的电路增强对语言模型的信任

使用数学和逻辑规范的框架构建的变压器模型经过全面验证，证明了通过插入已验证的任务模块可以提高使用语言模型的可验证性和可信度，减少复杂复合模型的验证工作量，并为语言模型的安全性迈出重要一步。

Feb, 2024

神经语言模型解剖

通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。

Jan, 2024

DeepGate3：面向可扩展电路表示学习

DeepGate3 是一个增强的架构，通过初始化 GNN 处理，集成 Transformer 模块来模拟子电路，并通过多个创新的监督任务提高学习过程的能力，显著提升了电路表示学习技术的可扩展性和泛化能力。

Jul, 2024