张量分解与电路之间的关系（及其利用方式）

Sep, 2024

张量分解与电路之间的关系（及其利用方式）

What is the Relationship between Tensor Factorizations and Circuits (and How Can We Exploit it)?

Lorenzo Loconte, Antonio Mari, Gennaro Gala, Robert Peharz, Cassio de Campos...

TL;DR本研究解决了电路表示与张量分解之间的关系这一具体问题，消除了这两个看似无关领域之间的认知隔阂。论文提出了一个模块化的“乐高积木”方法，以系统构建和探索多种电路和张量分解模型，显著提升了新模型的构建和优化能力，并在实证评估中展示了其有效性。

Abstract

This paper establishes a rigorous connection between circuit representations and tensor factorizations, two seemingly distinct yet fundamentally related areas. By connecting these fields, we highlight a series of opportunities that can benefit both communities. Our work generalizes popular tensor factorizations within the circuit language, and unifies variou

发现论文，激发创造

张量混合模型

使用张量分析概念衍生出可追踪边缘的张量混合模型，其简单的卷积神经网络结构有助于设计和实现到央视并能有效地表现丰富的分布，以达到在缺失数据下的分类。

Oct, 2016

张量网络的降维和大规模优化。第2部分：应用和未来展望

本文介绍了张量网络及其运算的简介并侧重于介绍用于数据/参数的超压缩高阶表示的张量网络模型及其应用，包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法，如张量列车和分层 Tuck 分解，并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。

Aug, 2017

基于张量网络分解的概率建模表现力研究-从隐马尔科夫模型到量子机器学习的应用

该论文研究了张量网络在离散多元概率分布建模中的表达能力，并针对使用不同类型的张量带来的参数数量和效率变化进行了严格分析，发现局部纯净态表示法的表达能力优于其他表示法。

Jul, 2019

通过局部采样的张量网络结构排列搜索

该论文研究了张量网络结构搜索中的一种实际变体，称为TN排列搜索（TN-PS），通过提出一种元启发式算法，证明了其计数和度量特性，并降低了计算成本和模型大小。

Jun, 2022

机器学习中的张量网络

这篇论文介绍了张量网络及其在机器学习中的应用，张量网络通过分解大规模数据矩阵来实现数据的近似表达与计算的降维，是一种常用的数据处理技术。

Jul, 2022

张量网络视角下的卷积

本研究通过张量网络对卷积进行了全新的视角探讨，通过图表述来研究其基础性质，证明了该方法的表达能力，并通过实验证明了其对于多种卷积操作的适用性和有效性。

Jul, 2023

神经电路图：深度学习架构的通讯、实现和分析的稳健图示

使用神经电路图图示化深度学习架构，展示架构的细节、数据的排列方式以及线性操作的并行行为，并且能够提供数学洞察力和算法的时间和空间复杂度分析。

Feb, 2024

使用线性计算图自动识别局部和全局电路

采用稀疏自编码器（SAEs）和跳跃SAEs为基础，引入电路发现流程，使用Hierarchical Attribution方法对于GPT2-Small模型分析了三种电路类型（括号电路、归纳电路和间接对象识别电路），揭示了现有发现之下的新发现。

May, 2024

以概率积分电路形式扩展连续潜变量模型

通过使用张量化电路架构和神经功能共享技术，本文提出了一种方法来构建任意变量分解的有向无环图状的概率积分电路，并展示了基于数值积分的概率积分电路在训练过程中的优越性。

Jun, 2024

边缘修剪中的Transformer电路寻找

自动电路发现的一种有效且可扩展的解决方案是基于优化问题的边缘修剪，该方法在 GPT-2 模型中找到使用少于一半边缘的电路，并与之前的方法在速度和质量上表现出优势。

Jun, 2024