Oct, 2021

使用深度内核整形快速训练深度神经网络，无需跳跃连接或标准化层

PDF
TL;DR通过神经切线核理论和 Deep Kernel Shaping 方法，我们成功控制了深度神经网络的初始化时间内核函数的 “形状”，实现了无归一化层的残差网络的快速 SGD 训练，并同时提高了一些传统上性能非常差的激活函数的结果。
deep kernel shapingneural tangent kernel theorysgd trainingresidual networksactivation functions
发现论文，激发创造
  • 无捷径的深度学习：定制整流器塑造核心

    本研究提出了一种新的变换，完全兼容 ReLUs 的变种 ——Leaky ReLUs，并证明我们的方法可以实现与 ResNets 相当的准确性。

    Mar, 2022

  • 深度神经网络正则化的核视角

    通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果，并提出了一些新的有效的正则化策略，实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。

    Sep, 2018

  • 基于内核视角的深度卷积模型近似和学习

    本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

    Feb, 2021

  • 卷积深度核机器

    深度核机器（DKMs）是一种最近引入的核方法，具有包括深度神经网络和深高斯过程在内的其他深度模型的灵活性。本文介绍了卷积 DKMs 以及一种高效的跨域引导点逼近方案，并且开发和实验评估了多种模型变体，包括针对卷积 DKMs 设计的 9 种不同类型的规范化方法、两种似然函数和两种不同类型的顶层。尽管训练时间只需要大约 28 个 GPU 小时，比完整的 NNGP/NTK/Myrtle 核函数快 1 到 2 个数量级，但结果模型在 MNIST 上达到约 99% 的测试准确率，在 CIFAR-10 上达到 92% 的准确率，在 CIFAR-100 上达到 71% 的准确率，同时实现了可比较的性能。

    Sep, 2023

  • 深度学习与核学习：损失函数梯度与神经切向核的时间演变的实证研究

    在深度神经网络训练中，训练动力学与损失面的几何形态和时空变化紧密关联，揭示了深度学习过程中快速的混沌瞬变和稳定状态之间的显著关系。

    Oct, 2020

  • 去除快速通道的深度 Transformer: 修改自注意力实现准确信号传递

    通过设计参数初始化、偏差矩阵和位置相关的重缩放的组合，实现信号在无量纲变压器中的可信传播，使得在 WikiText-103 和 C4 上，我们的方法能够使没有标准化的深度变压器以与标准变压器相同的速度训练，并使深度无量纲变压器在大约 5 倍的迭代次数后达到与标准变压器相同的性能。

    Feb, 2023

  • 使用受监督的卷积核网络进行端到端核学习

    本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

    May, 2016

  • 卷积神经网络中的子流形卷积核优化

    本文提出了新的核规范化方法，解释了该方法对 CNN 中核搜索空间的几何形状的影响，并证明了该方法几乎可以保证收敛于 CNN 分类损失的单一最小值，为图像分类基准测试提供了最先进的性能。

    Oct, 2016

  • 深度等距学习用于视觉识别

    该研究论文表明，即使没有标准的图像识别基准测试中的归一化和跳过连接技术，也可以通过在初始化和训练期间强制卷积核接近等距来训练深度神经网络，并达到令人惊讶的好性能，进一步实验证明，如果与跳过连接结合使用，可以达到与标准 ResNet 相当甚至更好的性能。

    Jun, 2020

  • 卷积神经网络中用于图像分类的卷积核设计

    通过对卷积核的形状与特征表示学习之间的关系的探究，结合实验结果和模拟视觉系统的观察，提出了一种新的卷积核形状设计方法，该方法在 ILSVRC-2012 数据集上减少了模型参数和计算时间，在 CIFAR-10/100 数据集上也优于现有的模型，进一步分析了该方法对于遮挡图像的分类的鲁棒性，并展示了显著的分类性能。

    Nov, 2015