通过激活树突连接改善神经网络性能

Jan, 2023

通过激活树突连接改善神经网络性能

Improving Performance in Neural Networks by Dendrites-Activated Connections

Carlo Metta, Marco Fantozzi, Andrea Papini, Gianluca Amato, Matteo Bergamaschi...

TL;DR本研究介绍了一种基于预激活和多个偏差的新型计算单元 DAC，用于减轻神经网络中多个单元共享输入偏差的问题，并在 ResNet 架构中测试 DAC 卷积，取得了最高 1.73% 的性能提升。

Abstract

computational units in artificial neural networks compute a linear combination of their inputs, and then apply a nonlinear filter, often a ReLU shifted by some bias, and if the inputs come themselves from other u

artificial neural networks computational units dac nonlinear filtering resnet

发现论文，激发创造

学习激活函数以提高深度神经网络性能

使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

Dec, 2014

深度锚定卷积神经网络

本文介绍了一种名为 Deep Anchored Convolutional Neural Network (DACNN) 的卷积神经网络架构，它使用单个卷积核并采用权重共享技术进行网络压缩，同时增加了一个名为 regulators 的易于插入的模块来提高性能，在 CIFAR-10、CIFAR-100 和 SVHN 数据集上验证了其准确性与显著的内存节省。

Apr, 2019

通过动态激活函数优化前馈和卷积神经网络的性能

复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

Aug, 2023

树突使人工神经网络具备准确、稳健和参数高效的学习能力

利用生物树突的结构连接性和受限采样特性，提出了一种新的人工神经网络架构，通过不同的学习策略实现对多个类别的响应，使得树突人工神经网络在图像分类任务中具有更高的鲁棒性和更低的可训练参数数量。

Apr, 2024

ACDC：结构化高效的线性层

本文提出了一种新的深度完全连接神经网络模块，由对角矩阵和离散余弦变换组成，并说明了如何将 ACDC 层级联近似于线性层，实验表明可成功地与卷积神经网络相结合，同时提出了该模块与傅里叶光学的联系。

Nov, 2015

反馈门控整流线性单元

该研究探讨了人类大脑中反馈连接在人工神经网络研究中的重要性。设计了一种受生物启发的反馈机制来控制修正线性单元。在 MNIST 数据集上，使用反馈的自编码器表现出更快的收敛速度、更好的性能和更强的抗噪声能力。在 CIFAR-10 数据集上，虽然表现不如在 MNIST 数据集上显著，但仍然能够得到一定程度的优化。

Jan, 2023

训练受导数约束的神经网络

在物理学领域中，我们提出了一种称为导数约束神经网络（DC NN）的设置，其中神经网络（NN）对其输入的 (偏) 导数被用作额外的训练信号。我们提出了一种集成的 RELU（IReLU）激活函数来改善 DC NN 的训练，同时研究了去归一化和标签重新缩放以帮助稳定 DC 训练。我们在包括量子化学和科学机器学习（SciML）任务在内的物理学相关设置中评估了我们的方法，证明了使用 IReLU 激活函数、去归一化和标签重新缩放的现有架构更好地整合了由导数约束提供的训练信号。

Oct, 2023

学习激活函数的组合

本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

Jan, 2018

主动卷积：学习卷积形状进行图像分类

该论文提出了一种名为 ACU 的卷积单元，其形状可以通过反向传递的方式学习，具有比传统卷积单元更大的灵活性和更好的性能，可用于各种数据集和架构。

Mar, 2017

xUnit: 学习一种空间激活函数用于高效图像修复

本文提出一种新的激活单元，与传统的 per-pixel 激活单元相比，该单元实现了可学习的带有空间连接的非线性函数，使神经网络能够捕捉更复杂的特征，从而在图像恢复问题中取得了极高的性能和效率。

Nov, 2017