计算高效的二次神经网络

Oct, 2023

Computationally Efficient Quadratic Neural Networks

Mathew Mithra Noel, Venkataraman Muthiah-Nakarajan

TL;DR通过引入高阶人工神经元，本论文介绍了具有增强的学习能力的二次神经元、解决 XOR 问题的方法以及应用于前向神经网络的全矢量化方程。与隐藏层神经元数量相比，仅利用一层二次神经元可以使网络在更少的隐藏层神经元的情况下实现更高的准确性，从而在基准分类数据集上取得了显著的成果。

Abstract

higher order artificial neurons whose outputs are computed by applying an activation function to a higher order multinomial function of the inputs have been considered in the past, but did not gain acceptance due to the extra parameters and computational cost. However, higher order neu

higher order artificial neurons learning capabilities quadratic neurons xor problem benchmark classification datasets

发现论文，激发创造

关于二次网络的表达能力和可训练性

本研究探讨了一种新型的神经元 —— 二次人工神经元，在深度学习模型中取代了传统神经元的内积运算，研究了其模型表达能力、训练稳定性等问题，提出了一种名为 ReLinear 的训练策略，发现二次人工神经元在机器学习任务中具有最优表现。

Oct, 2021

卷积神经网络中高效二次神经元的表达能力增强

本文提出了一种高效的二次神经元结构，能够提高卷积神经网络的表现，并在分类任务中实现了更高的精度和更好的计算效率。

Jun, 2023

QuadraNet：硬件感知的四次神经网络提高高阶神经交互效率

使用二次计算方法重新思考高阶交互神经网络设计，提出了 QuadraNet 的综合模型设计方法，通过利用二次神经元的内在高阶优势和专门的计算优化方案，实现了最佳的认知和计算性能。

Nov, 2023

神经网络中超参数化的强大作用与二次激活函数

本文研究了神经网络学习中超参数化的有效性，提出了一种使用局部搜索算法寻找全局最优解的方法，并使用 Rademacher 复杂性理论证明了在权重衰减的情况下，解决方案在数据采样自正态分布等正则分布的情况下也能很好地推广，同时还分析了具有二次激活函数和 n 个训练数据点的 k 个隐藏节点浅层网络的本质性质。

Mar, 2018

基于神经网络的二次决策函数分类

本研究探讨了使用二次决策函数的神经网络作为标准神经网络的替代方法，并测试其在手写数字和亚种分类方面在 MNIST 数据集上的表现，并展示了可以使用 Tensorflow 和 Keras 软件进行实现的神经网络结构。

Jan, 2024

QuadraNet V2：高阶神经网络的高效可持续训练与二次适应

介绍了一种利用二次神经网络创建高阶学习模型的新框架 QuadraNet V2，通过利用预训练的权重来减少训练所需 GPU 时间，同时提高了信息表征能力。

May, 2024

基于树突积分的二次神经网络超越传统的人工网络

将生物神经元属性纳入人工神经网络以增强计算能力是机器学习领域中面临的重大挑战，我们提出了一种新颖的人工神经网络模型 DIQNN (Dendritic Integration-Based Quadratic Neural Network)，该模型在各种分类任务中表现出优于传统人工神经网络的性能。为了降低 DIQNN 的计算成本，我们介绍了一种低秩 DIQNN，发现它可以保持原始 DIQNN 的性能。我们进一步提出一个边界来描述泛化误差，并在理论上证明该边界在训练过程中会单调增加。我们通过数值实验展示了泛化性和我们的边界之间的一致性。最后，通过将该边界整合到损失函数中，我们的实验结果证明了测试精度的变化确实得到了加速。我们的工作提供了一种新颖的、受大脑启发的人工神经网络模型，优于传统人工神经网络，并提供了分析分类任务中泛化误差的理论框架。

May, 2023

QuasiNet：具备可训练的乘积层的神经网络

我们提出了一种灵感来自现有神经网络模型的新的神经网络模型，该模型具有所谓的乘积神经元和源自传统误差反向传播的学习规则，优雅地解决了互斥情况的问题。与现有的乘积神经元不同，我们的神经元层的乘积层也可以学习。我们对模型进行了测试，并将其成功率与经典多层感知机在上述问题以及其他难题（如两个螺旋）中进行了比较。结果表明我们的模型明显比经典的多层感知机更成功，并且具有在许多任务和应用中使用的潜力。

Nov, 2023

三层神经网络非多项式激活函数的记忆容量

神经元、前馈神经网络、激活函数、插值、插值能力

May, 2024

神经网络学习复杂性

本文研究神经网络的理论解释，针对单个隐藏层、平滑激活函数和良好输入分布条件下生成的数据可否进行有效学习，证明了对于广泛的激活函数和任何对数凹分布的输入，存在一类单隐藏层函数，其输出为和门，难以以任何精度有效地学习，这一下界对权重的微小扰动具有鲁棒性，且通过实验验证了训练误差的相变现象。

Jul, 2017