研究表明,无限贝叶斯神经网络缺乏表征或等效核学习能力,从而导致性能变差,而有一种新型无限网络,即瓶颈无限网络,可同时继承无限网络的理论可行性和表征学习能力。
Oct, 2019
本文提出了关于神经网络被认为具有高维空间模型但其空间的定义不够清晰的一个合理解释,即通过激活函数的作用将低维线性空间映射为无限维的高维空间,称为超空间。这种空间中的每个神经元节点通过激活层实际上是一个无限次幂的多项式,而训练神经网络可以至少简化为求解非线性方程组。
May, 2023
本文提出了一种新的方法,用于可视化和理解神经网络输出层之前的向量空间,旨在揭示分类任务下的深层特征向量属性,特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响,并对其进行了真实应用场景的评估,证明了其突出性能优势。
Jun, 2020
通过无限宽度的卷积神经网络理论,研究神经网络的本质原理和泛化能力,提出一种基于层次局部性的新原则并证明了其对神经网络学习能力的提升,同时证明了无限宽度的深度卷积神经网络可以打破维数灾难并保持表达能力,并在有限和无限数据情况下提高性能。
Dec, 2021
通过引入一种交互感知的增强生成视角,我们重新定义特征空间重建为通过选择创建有意义的特征和控制特征集大小的嵌套过程,从而自动化特征和操作的选择以及特征交叉。通过结合统计度量,我们基于所选特征之间的相互作用强度奖励智能体,实现了对特征空间的智能和高效的探索,从而模拟人体决策过程。通过进行大量实验证实了我们提出的方法。
Sep, 2023
研究了深度神经网络的几何属性和数据表示的内在维度,发现最后一个隐藏层的内在维度预测测试集合的分类准确性,这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。
May, 2019
通过实验证明了核方法优于限制宽度的全连接神经网络,并且证实 NNGP 内核经常优于 NT 内核,但它们的性能都受到正则化的影响。此外,作者提出了使用 NNGP 和 NT 内核进行预测的最佳实践方法,并在 CIFAR-10 分类任务中取得了最优结果。
Jul, 2020
研究了稀疏深度网络作为高维稀疏特征的预测任务的神经网络架构,并引入了一种混合粒度的特征交互选择方法,该方法同时针对特征域和特征值进行选择,通过实验结果证明该方法在准确性和效率方面表现出色。
Oct, 2023
通过引入交互张量来分析数据和模型的特征交互,我们提出了特征学习的概念框架,并在其基础上推导了一些理论结果,包括解释广义推广误差相等性等现象的理论构建,从而增进我们对特征学习的理解。
Jun, 2023
深度神经网络具有自动从原始数据中学习相关特征的能力,但完全连接(FC)和卷积架构(CNN)中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果,而具有卷积隐藏层的架构则展现出了一种不同的特征学习方式。
Jul, 2023