基于内核视角的深度卷积模型近似和学习
本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS,并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明,卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。
Nov, 2021
本文提出了一种基于多层核机的图像表示方法,并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络,在一些深度学习数据集上取得了良好的分类表现,表明了该方法在图像相关任务中的应用价值。
May, 2016
通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果,并提出了一些新的有效的正则化策略,实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。
Sep, 2018
通过基于随机投影导出的特征近似核函数,提出了有效地克服核方法计算复杂度的方法,并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能,同时克服了模型调节的困难。
Nov, 2014
本文研究了深度卷积体系结构的多尺度不变表示问题,提出了基于卷积核网络的多层核方法,分析了核映射引起的几何学效应,表明可以将数据表示与学习分离,提出了模型复杂度的规范化测量,即控制所学模型的稳定性和泛化能力的重复核希尔伯特空间规范,证明了已有卷积神经网络能够映射到该空间中。
Jun, 2017
通过基于先前指定的内核,采用数值逼近方法进行核函数选择 / 构造,从而探索构造非参数深度内核的解决方案,通过减半插值点的数量(使用与内核相关联的本征 RKHS 范数进行度量)而不会显着损失精度的简单前提来进行核函数选择。
Aug, 2018
探讨了正定核及其相关重现核希尔伯特空间的逼近性质,包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等,并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限,讨论了正定核的容量限制及其对梯度下降等算法的影响。
Jan, 2018
在某种随机梯度下降初始化的情况下,神经网络可被再现核希尔伯特空间方法良好逼近用于某些分类任务。在特殊情况下,通过学习最佳低维表示,神经网络可胜过再现核希尔伯特空间方法,证明了神经网络比再现核希尔伯特空间方法更适合维度严重受限的特殊分类任务。
Jun, 2020
本文回顾了最近关于层级神经网络结构的研究成果,探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义,该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时,本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。
Aug, 2016
通过用一种新型卷积神经网络(CNN)来编码不变性的再生核,本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题, 其中与传统方法不同的是,我们的网络学习在训练数据上逼近核特征映射,从而带来了多个优势,包括获得具有不变性的简单神经网络体系结构,实现与更复杂 CNNs 相似的准确度,以及抵抗过拟合等。
Jun, 2014