Mar, 2020

无切线的神经核函数

TL;DR通过研究神经网络和内核空间中的简单构建块之间的联系,我们提出了一种从特征组中创建 “组合” 内核的代数。在实验中,我们发现神经网络体系结构和相关内核的测试误差之间存在相关性,并构建了一个只使用 3x3 卷积、2x2 平均池化、ReLU 并使用 SGD 和 MSE 损失进行优化的简单神经网络体系结构,在 CIFAR10 数据集上获得 96%的准确度,其对应的组合内核可达到 90%的准确度。我们还使用我们的构造方法研究了神经网络、NTK 和组合内核在小数据集环境中的相对性能表现,特别是发现组合内核优于 NTK,神经网络优于这两种内核方法。