卷积整流网络作为广义张量分解

Mar, 2016

Convolutional Rectifier Networks as Generalized Tensor Decompositions

Nadav Cohen, Amnon Shashua

TL;DR本研究介绍了一种将卷积算术电路转化为卷积整流网络的构造方法，并使用算术电路领域的数学工具证明了卷积整流网络是具有深度效率的，但这种效率相对于卷积算术电路来说还是较弱，因此开发有效的卷积算术电路训练方法可能会引发一种深度学习架构，其具有确凿的优势，但目前仍被从业者所忽视。

Abstract

convolutional rectifier networks, i.e. convolutional neural networks with rectified linear activation and max or average pooling, are the cornerstone of modern deep learning. However, despite their wide use and s

convolutional rectifier networks arithmetic circuits deep learning tensor decompositions training methods

发现论文，激发创造

带门控博弈的深层在线凸优化

本文研究了在具有 rectifier units 和 max-pooling 的卷积神经网络上使用梯度下降算法的收敛性，并通过引入 gated games 描述了神经网络学到的特征表示，提出了一种基于对数后悔算法的神经网络训练方法。

Apr, 2016

神经网络中的泰勒逼近：修正线性单元网络中的收敛与探索

本文提供了第一个适用于现代卷积神经网络的收敛保证，并探究了通过探索激活配置空间更彻底而实现更好解的自适应优化器方法。

Nov, 2016

循环神经网络的表达能力

本文证明 Tensor Train 分解的一类循环神经网络的表达能力理论上是指数级别的，与 Hierarchical Tucker 张量分解所对应的深度卷积网络相比，使用 RNN 对图像进行逐块处理可以比使用仅具有一个隐藏层的 (浅层) 卷积网络更加高效。

Nov, 2017

基于分层张量分解的卷积网络分析与设计

本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

May, 2017

混合张量分解增强扩张卷积网络

本文研究通过连接层数的增加来增强深度网络的表达效率，应用于序列处理任务中的卷积神经网络，证明了深度和连接都能提高表现效果，并将这一发现应用于深度网络设计。

Mar, 2017

适用于循环神经网络的广义张量模型

本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

Jan, 2019

展开所有 ReLU 网络

本篇论文阐述了深度 ReLU 网络可以分解成输入空间划分的区域内的线性模型集合，并将该理论推广到图神经网络和张量卷积网络等复杂网络上。此外，该论文证明了神经网络可以被理解为可解释的模型，如多元决策树和逻辑理论，并展示了该模型如何导致便宜且准确的 SHAP 值计算。最后，该理论通过与图神经网络的实验得到了验证。

May, 2023

深度多项式神经网络

本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网，它是多项式神经网络，通过具有共享因子的张量集合分解来估计自然表示的未知参数，可用于许多任务和信号的表达建模，并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实现了最新的结果。

Jun, 2020

深度卷积网络是层次化的核机器

该论文讨论了 i-theory 中典型层次结构的构成，提出现代 DCNs 可以与具有池化和非池化层次的核机器的层级架构完全等效，最终提出高效的结构猜想。

Aug, 2015

张量网络视角下的卷积

本研究通过张量网络对卷积进行了全新的视角探讨，通过图表述来研究其基础性质，证明了该方法的表达能力，并通过实验证明了其对于多种卷积操作的适用性和有效性。

Jul, 2023