本文研究卷积神经网络中的归纳偏差,证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力,并通过对称性分析证明权重共享与局部性对学习的重要性。
May, 2023
本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS,并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明,卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。
Nov, 2021
本文通过等价于分层张量分解的方式,分析了各种卷积神经网络架构特征的表达效率和归纳偏置,并提供了新的网络设计工具。
May, 2017
本研究探讨深度卷积网络的归纳偏差,建立了量子物理和深度学习之间的基本联系,通过量子纠缠测量深度网络表达输入相关结构的能力,探索了 ConvAC(深度卷积算术电路)的新理论观察,提出了通过深层卷积网络的通道数直接控制归纳偏差的方法。
Apr, 2017
本研究通过核方法的角度对卷积核网络进行了研究,发现其 RKHS 由补丁之间的交互项的加性模型组成,其范数通过汇聚层促进这些项之间的空间相似性,并提供了泛化界,以说明池化和补丁如何提高样本复杂度保证。
Feb, 2021
本论文提出了一种基于可视化分析的方法,以更好地理解、诊断和改进深度卷积神经网络,并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。
Apr, 2016
本文研究了深度神经网络在输入空间中的几何属性,通过系统实证研究发现,深度神经网络具有连通的分类区域并且其在数据点附近的决策边界在大多数方向上是平坦的,同时该文进一步证明了深度神经网络曲率决策边界的本质联系,最终提出了一种基于决策边界曲率的小型对抗样本检测方法。
本研究探讨了在深度学习中通过将关系和感觉信息分隔,以及引入归纳偏差来改善系统的推理性能,并提出了基于相似性分数的简单架构 -- Compositional Relational Network (CoRelNet), 增强了模型的鲁棒性,提高了关系计算的分布外泛化能力。
Jun, 2022
本文提出应该将几何图形应用作几何深度学习创新的主要推动力量,并介绍了一种称为仿射跳跃连接的新型构建块,该构建块由完全连接层与任何图卷积算子组合而成,证明其可以显著提高图分类等任务的性能。
Apr, 2020
该论文采用对比学习方法提出了一种基于空间区域的卷积神经网络无监督训练方法,可与传统的神经网络结构和训练技巧相结合,提高模型性能。
Nov, 2016