卷积神经网络的谐分解

Mar, 2020

Harmonic Decompositions of Convolutional Networks

Meyer Scetbon, Zaid Harchaoui

TL;DR使用再生核 Hilbert 空间的机器，描述卷积网络的函数空间和光滑性，研究了卷积网络的函数分解和统计界限，并突出显示了逼近误差和估计误差之间的有趣权衡。

Abstract

We present a description of the function space and the smoothness class associated with a convolutional network using the machinery of reproducing kernel Hilbert spaces. We show that the mapping associated with a convolutional network expands into a sum involving elementary functions a

convolutional network reproducing kernel hilbert spaces functional decomposition statistical bounds approximation error

发现论文，激发创造

谐波网络：将频谱信息整合到 CNN 中

本文提出谐波块代替传统的卷积层，通过学习离散余弦变换定义的谱滤波器的最优组合来产生特征，将谐波块引入现有卷积神经网络基线模型，可以在小的 NORB，CIFAR10 和 CIFAR100 数据集的分类任务中取得与或更好的性能。

Dec, 2018

深度卷积表达的群不变性、形变稳定性和复杂性

本文研究了深度卷积体系结构的多尺度不变表示问题，提出了基于卷积核网络的多层核方法，分析了核映射引起的几何学效应，表明可以将数据表示与学习分离，提出了模型复杂度的规范化测量，即控制所学模型的稳定性和泛化能力的重复核希尔伯特空间规范，证明了已有卷积神经网络能够映射到该空间中。

Jun, 2017

线性卷积网络的函数空间和临界点

本文研究了带有一维卷积层的线性网络的几何学问题，描述了网络的体系结构对函数空间的维度、边界和奇异点的影响，并研究了训练带有平方误差损失的网络的优化问题和网络参数化映射的关键点。

Apr, 2023

基于内核视角的深度卷积模型近似和学习

本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021

用信息论理解卷积神经网络：一个初步探索

本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

Apr, 2018

利用神经网络逼近 RKHS 函数

通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性，以及将其应用于广义函数线性模型的函数回归，本研究探讨了将功能性数据（如时间序列和图像）整合到神经网络中学习函数空间到 R 的映射（即泛函）的方法。同时，通过在再生核希尔伯特空间中建立内插正交投影，提出的网络简化了现有的功能学习工作，使用点评估替代基函数展开。

Mar, 2024

关于卷积神经切线和高斯过程核的谱偏差

通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

Mar, 2022

神经再生核泛函空间及深度网络的表示定理

通过研究神经网络所定义的函数空间，我们展示了深度神经网络定义合适的再生核 Banach 空间，并且通过应用再生核 Banach 空间的理论和变分结果，得到了支持常用有限网络结构的再现定理，为更实际可行的神经网络架构提供了一步。

Mar, 2024

Barron 空间用于图卷积神经网络

该研究讨论了基于图的卷积神经网络（GCNN）在 Barron 函数空间中的应用，证明了该空间是一个再生核 Banach 空间，可以通过 GCNN 的输出来有效逼近。同时估计了有界 Barron 范数函数的 Rademacher 复杂度，并指出可以有效地从随机样本中学习 Barron 空间中的函数。

Nov, 2023

基于分层张量分解的卷积网络分析与设计

本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

May, 2017