神经电路图：深度学习架构的通讯、实现和分析的稳健图示
本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。
Jun, 2016
本文介绍了一种用于电路设计的监督式预训练方法，利用神经网络（NN）和图神经网络（GNN），以预测输出等效电路的直流电压，提升了新电路结构或未见过的预测任务的可适应性和样本效率。
Mar, 2022
神经网络的计算能力与图神经网络(GNN)结构相对应，不仅局限于聚合-合并的GNN或其他特定类型，我们通过多样的激活函数与实数上的算术电路之间建立了精确的对应关系。在我们的结果中，网络的激活函数变成了电路中的门类型。我们的结果适用于常定深度电路和网络的各种常用激活函数，在统一和非统一的情况下都成立。
Feb, 2024
通过使用转码器，我们成功地将 MLP 子层训练为具有更宽、稀疏激活的 MLP 层，并在稀疏性、忠实度和人类可解释性方面至少与稀疏自编码器 (SAEs) 持平，进而通过 MLP 子层进行基于权重的电路分析，最终成功地解析出 GPT2-small 中的大于电路，并发现转码器在将包含 MLP 的模型计算分解为可解释电路方面具有良好效果。
Jun, 2024
本研究解决了电路表示与张量分解之间的关系这一具体问题，消除了这两个看似无关领域之间的认知隔阂。论文提出了一个模块化的“乐高积木”方法，以系统构建和探索多种电路和张量分解模型，显著提升了新模型的构建和优化能力，并在实证评估中展示了其有效性。
Sep, 2024
本文研究了电路发现在内部可解释性方面的重要性，探讨了现有算法在规模和可信度上的不足。作者通过经典和参数化的计算复杂性理论，建立了一个框架来分析多层感知器的查询复杂性，发现了许多查询是不可解的，同时提出了一些针对这些困难问题的转化方法。本研究为理解可解释性查询的范围和限制提供了新的视角，有助于探索和比较现有及未来架构的资源需求。
Oct, 2024
该研究针对神经网络内部可解释性中的电路发现问题，填补了理论和算法选项之间的空白。作者提出了一个全面的查询框架，并分析了多层感知器中查询的复杂性，揭示了许多查询的不可解性和近似性限制。研究为理解可解释性查询的范围和局限性提供了新视角，进而促进实现更有效的算法选择。
Oct, 2024
本研究解决了神经符号人工智能领域中符号技术与统计方法融合的挑战，强调神经网络与符号推理的有效结合。通过首次将神经符号技术根据其架构进行分类，本研究揭示了框架的不同优势以及如何将符号方法作为黑箱来增强神经网络的实用性，为今后的研究者提供了相关框架的便利识别。
Oct, 2024