Nov, 2023

QuadraNet：硬件感知的四次神经网络提高高阶神经交互效率

PDF
TL;DR使用二次计算方法重新思考高阶交互神经网络设计，提出了 QuadraNet 的综合模型设计方法，通过利用二次神经元的内在高阶优势和专门的计算优化方案，实现了最佳的认知和计算性能。
computer vision-oriented neural network designshigh-order neural interactionstransformersquadratic computing approachquadranet
发现论文，激发创造
  • QuadraNet V2：高阶神经网络的高效可持续训练与二次适应

    介绍了一种利用二次神经网络创建高阶学习模型的新框架 QuadraNet V2，通过利用预训练的权重来减少训练所需 GPU 时间，同时提高了信息表征能力。

    May, 2024

  • 计算高效的二次神经网络

    通过引入高阶人工神经元，本论文介绍了具有增强的学习能力的二次神经元、解决 XOR 问题的方法以及应用于前向神经网络的全矢量化方程。与隐藏层神经元数量相比，仅利用一层二次神经元可以使网络在更少的隐藏层神经元的情况下实现更高的准确性，从而在基准分类数据集上取得了显著的成果。

    Oct, 2023

  • 卷积神经网络中高效二次神经元的表达能力增强

    本文提出了一种高效的二次神经元结构，能够提高卷积神经网络的表现，并在分类任务中实现了更高的精度和更好的计算效率。

    Jun, 2023

  • HadaNets: 神经网络的灵活量化策略

    该研究论文介绍了一种名为 HadaNets 的新型神经网络模型，可以在不占用太多内存和训练时间的情况下有效地训练和推理深度神经网络，同时具有优秀的模型压缩性能。

    May, 2019

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 基于四元数网络的轻量级高效神经自然语言处理

    本文针对自然语言处理（NLP）任务，提出了一系列轻量级和内存高效的神经网络模型，利用四元数代数和超复数空间进行计算，在不影响性能的情况下减少了模型参数的大小达到 75%。作者提出了四元数变体模型和新的架构，如四元数注意力模型和四元数变换器模型，并在多项 NLP 任务上进行了广泛的实验，证明了所提出的模型的优越性。

    Jun, 2019

  • 基于树突积分的二次神经网络超越传统的人工网络

    将生物神经元属性纳入人工神经网络以增强计算能力是机器学习领域中面临的重大挑战，我们提出了一种新颖的人工神经网络模型 DIQNN (Dendritic Integration-Based Quadratic Neural Network)，该模型在各种分类任务中表现出优于传统人工神经网络的性能。为了降低 DIQNN 的计算成本，我们介绍了一种低秩 DIQNN，发现它可以保持原始 DIQNN 的性能。我们进一步提出一个边界来描述泛化误差，并在理论上证明该边界在训练过程中会单调增加。我们通过数值实验展示了泛化性和我们的边界之间的一致性。最后，通过将该边界整合到损失函数中，我们的实验结果证明了测试精度的变化确实得到了加速。我们的工作提供了一种新颖的、受大脑启发的人工神经网络模型，优于传统人工神经网络，并提供了分析分类任务中泛化误差的理论框架。

    May, 2023

  • 面向 FPGAs 和 ASICs 的 Hessian 感知量化神经网络的端对端协同设计

    利用 Hessian-aware quantization (HAWQ) 来量化神经网络（NNs），Quantized Open Neural Network Exchange（QONNX）中间表示和 hls4ml 到 FPGA 和 ASIC 固件的工具流程将 NNs 高效地实现在硬件上，并在粒子物理应用程序中展示了这个工作流程，包括使用混合精度 NN 分类器对 HLC 质子 - 质子碰撞中的高动量粒子喷流进行优化。

    Apr, 2023

  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019

  • 关于二次网络的表达能力和可训练性

    本研究探讨了一种新型的神经元 —— 二次人工神经元，在深度学习模型中取代了传统神经元的内积运算，研究了其模型表达能力、训练稳定性等问题，提出了一种名为 ReLinear 的训练策略，发现二次人工神经元在机器学习任务中具有最优表现。

    Oct, 2021