Sep, 2024

张量分解与电路之间的关系（及其利用方式）

HTML
PDF
TL;DR本研究解决了电路表示与张量分解之间的关系这一具体问题，消除了这两个看似无关领域之间的认知隔阂。论文提出了一个模块化的“乐高积木”方法，以系统构建和探索多种电路和张量分解模型，显著提升了新模型的构建和优化能力，并在实证评估中展示了其有效性。
发现论文，激发创造
  • 张量网络的降维和大规模优化。第2部分：应用和未来展望

    本文介绍了张量网络及其运算的简介并侧重于介绍用于数据/参数的超压缩高阶表示的张量网络模型及其应用， 包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法，如张量列车和分层 Tuck 分解，并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。

    Aug, 2017

  • 基于张量网络分解的概率建模表现力研究-从隐马尔科夫模型到量子机器学习的应用

    该论文研究了张量网络在离散多元概率分布建模中的表达能力，并针对使用不同类型的张量带来的参数数量和效率变化进行了严格分析，发现局部纯净态表示法的表达能力优于其他表示法。

    Jul, 2019

  • 机器学习中的张量网络

    这篇论文介绍了张量网络及其在机器学习中的应用，张量网络通过分解大规模数据矩阵来实现数据的近似表达与计算的降维，是一种常用的数据处理技术。

    Jul, 2022

  • 张量网络视角下的卷积

    本研究通过张量网络对卷积进行了全新的视角探讨，通过图表述来研究其基础性质，证明了该方法的表达能力，并通过实验证明了其对于多种卷积操作的适用性和有效性。

    Jul, 2023

  • 神经电路图：深度学习架构的通讯、实现和分析的稳健图示

    使用神经电路图图示化深度学习架构，展示架构的细节、数据的排列方式以及线性操作的并行行为，并且能够提供数学洞察力和算法的时间和空间复杂度分析。

    Feb, 2024

  • 使用线性计算图自动识别局部和全局电路

    采用稀疏自编码器（SAEs）和跳跃SAEs为基础，引入电路发现流程，使用Hierarchical Attribution方法对于GPT2-Small模型分析了三种电路类型（括号电路、归纳电路和间接对象识别电路），揭示了现有发现之下的新发现。

    May, 2024

  • 边缘修剪中的Transformer电路寻找

    自动电路发现的一种有效且可扩展的解决方案是基于优化问题的边缘修剪，该方法在 GPT-2 模型中找到使用少于一半边缘的电路，并与之前的方法在速度和质量上表现出优势。

    Jun, 2024

  • 树结构概率电路的表达能力

    本研究解决了树结构概率电路与有向无环图（DAG）概率电路之间的表达能力差距问题。我们提出了一种新的方法，证明对于$n$个变量，存在一个次指数上限的树可以计算相同的概率分布，同时证明在树的深度限制下，树与DAG结构之间有超多项式的差异。此研究对理解树结构概率电路的表达能力具有重要意义，并且我们的技术可能对概率电路的结构学习算法研究具有独立的价值。

    Oct, 2024

  • 内部可解释性的电路发现的计算复杂性

    本文研究了电路发现在内部可解释性方面的重要性，探讨了现有算法在规模和可信度上的不足。作者通过经典和参数化的计算复杂性理论，建立了一个框架来分析多层感知器的查询复杂性，发现了许多查询是不可解的，同时提出了一些针对这些困难问题的转化方法。本研究为理解可解释性查询的范围和限制提供了新的视角，有助于探索和比较现有及未来架构的资源需求。

    Oct, 2024

  • 内部可解释性电路发现的计算复杂性

    该研究针对神经网络内部可解释性中的电路发现问题，填补了理论和算法选项之间的空白。作者提出了一个全面的查询框架，并分析了多层感知器中查询的复杂性，揭示了许多查询的不可解性和近似性限制。研究为理解可解释性查询的范围和局限性提供了新视角，进而促进实现更有效的算法选择。

    Oct, 2024