May, 2021

深度 Kronecker 神经网络：一种具有自适应激活函数的神经网络通用框架

PDF
TL;DR提出了一种新类型的神经网络 Kronecker 神经网络，该网络采用 Kronecker 乘积，提供了一种用于构造非常宽的网络的有效方式，同时保持参数数量低，并通过一系列计算实验验证了其有效性。
neural networkskronecker neural networksadaptive activation functionsrowdy activation functionglobal convergence
发现论文，激发创造
  • 通用激活函数的快速神经核嵌入

    本文提出了一种基于截断埃尔米特函数的方法，用于近似计算任何多层神经网络的高斯过程核（NNGP）和神经切向核（NTK）矩阵，同时克服了其他方法中数据点必须在单位球上的限制，可适用于任何 $R^d$ 空间中的点集。实验证明，相对于精确的卷积神经切向核计算，该方法在 CIFAR-10 数据集上针对具有 5 层结构的 Myrtle 网络的近似计算中实现了 106 倍的加速。

    Sep, 2022

  • 自适应激活函数加速深度和物理学知识神经网络的收敛

    采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。

    Jun, 2019

  • KAN：科尔莫哥洛夫－阿诺德网络

    Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

    Apr, 2024

  • 具有通用激活函数的高效神经网络鲁棒性认证

    该论文介绍了一种名为 CROWN 的通用框架，可以证明具有一般激活函数的神经网络分类器对于给定的输入数据点是健壮的，通过绑定给定激活函数的线性和二次函数，从而可以处理包括但不限于 ReLU、tanh、sigmoid 和 arctan 在内的一般激活函数，同时在可比的计算效率下，在 ReLU 网络上 CROWN 可以显着提高认证下限，同时 CROWN 能够展示其对包括 tanh、sigmoid 和 arctan 在内的具有一般激活函数的网络的有效性和灵活性。

    Nov, 2018

  • 深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

    本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

    Mar, 2018

  • 周期激活坐标网络的神经切比雪夫核分析

    用神经网络理论分析周期激活神经网络，证明其在视觉任务中表现出优越性能，并对其神经切线核进行了研究，得出周期激活网络在 NTK 视角下比 ReLU 激活网络更好。研究还对网络的记忆能力进行了实证验证，为周期激活神经网络的性质提供了深入理解。

    Feb, 2024

  • Kronecker 循环单元

    我们提出了称为 Kronecker 循环单元（KRU）的灵活的递归神经网络模型，它通过 Kronecker 分解循环矩阵实现 RNNs 的参数效率，并通过对因子施加软幺正约束克服循环矩阵的病态条件，从而克服递归神经网络过度参数化的问题。 KRU 模型可以降低递归权重矩阵中的参数数量三个数量级，而不会牺牲统计性能。

    May, 2017

  • 可伸缩的神经网络核

    我们介绍了可扩展的神经网络内核 (SNNK)，它们是正常前馈层 (FFLs) 的替代品，能够近似表示后者，但具有有利的计算属性。SNNK 有效地将输入从 FFL 的参数中分离出来，然后通过点积内核在最终计算中将它们连接起来。它们也更具表达力，能够模拟超出参数 - 输入矢量点积函数之外的复杂关系。我们还介绍了神经网络捆绑过程，将 SNNK 应用于压缩深度神经网络架构，从而获得额外的压缩收益。在其极端版本中，它导致完全捆绑的网络，其最优参数可以通过显式公式表示出来，适用于多个损失函数 (例如均方误差)，开启了绕过反向传播的可能性。作为我们分析的产物，我们介绍了通用随机特征 (URFs) 机制，用于实例化多种 SNNK 变体，并在可扩展内核方法的背景下引发了有趣的研究。我们对所有这些概念进行了严格的理论分析，并进行了广泛的实证评估，包括点状内核估计和受 SNNK 启发的适配器层的 Transformer 微调。我们的机制可以将可训练参数的数量减少 5 倍，同时保持竞争力的准确性。

    Oct, 2023

  • Kervolution 神经网络

    本文介绍了一种新的 kervolution 运算，该方法可以在非线性空间内运行，扩展了卷积神经网络的模型容量，捕捉更高阶的特征交互，并通过基于补丁的核函数实现，而不引入额外参数。大量实验表明， kervolutional neural networks (KNN) 比基线卷积神经网络具有更高的准确性和更快的收敛速度。

    Apr, 2019

  • Kronecker 图：一种网络建模方法

    本文中介绍了一种名为 Kronecker graphs 的生成模型，可以截尾分布、小直径、密度增加和直径缩小等特性自动生成网络。使用 Kronecker 矩阵乘法结构和统计模拟技术，提出了一种快速、可伸缩的算法 KronFit，可用于拟合真实网络的 Kronecker 图形成模型参数，提取网络结构信息和生成综合图形。

    Dec, 2008