May, 2023

Connected Hidden Neurons (CHNNet): 一种用于快速收敛的人工神经网络

PDF
TL;DR提出了一种更为强健的人工神经网络模型，其隐藏神经元之间形成内部互联，加速学习复杂模式并提高收敛率；通过实验验证，将全连接层应用于深浅网络，显示出显著的提高收敛速度的结果。
artificial neural networkshierarchical structurehidden neuronsfully connected layersconvergence rate
发现论文，激发创造
  • 利用生物神经元属性的卷积神经网络

    通过结合生物神经元原理，使用基于神经科学的计算模型来增强训练效率和提高准确性，以推动组合感受野模型作为卷积神经网络的基础层，从而在 CIFAR-10、CIFAR-100 和 ImageNet-100 数据集上实现性能显著提升（平均提升 5%-10%）

    Nov, 2023

  • 基于复杂网络理论的深度神经网络：一种观点

    通过复杂网络理论和统计物理结合，此研究工作扩展了现有的复杂网络度量指标，从纯拓扑分析转变为与深度学习可解释性相关的分析方法，提供了探究深度神经网络的物理根源，超越传统的输入 - 输出关系和复杂网络拓扑分析。

    Apr, 2024

  • 深度监督网络

    本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

    Sep, 2014

  • 深度神经网络作为复杂网络

    本文运用复杂网络理论将 DNN 表示为一个有向带权图，并介绍了一些度量方法，可以研究 DNN 作为动力学系统的性能，并发现度量方法可以区分低性能和高性能网络。

    Sep, 2022

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 稠密连接的卷积网络

    该研究提出 Dense Convolutional Network (DenseNet) 模型，使用每一层之前的所有特征图作为输入，解决了梯度消失的问题，促进了特征重用，并在目标识别领域的四个竞争性基准上显着提高了性能效率。

    Jan, 2020

  • 紧密连接卷积网络

    该论文介绍了一种称为 DenseNet 的神经网络架构，通过将每一层与其他每一层之间连接起来，可以解决传统卷积神经网络中权重消失和特征重用问题，在目标识别领域中表现优异。

    Aug, 2016

  • 基于熵的深度神经网络引导加速收敛与提升性能

    通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

    Aug, 2023

  • 深度学习中生物学的角色

    本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新验证了这些发现，并将该方法扩展到更具挑战的连续学习任务上，并公开了代码。

    Sep, 2022

  • 深度连续网络

    深度连续网络（DCNs）结合了空间连续滤波器和神经 ODE 的连续深度框架，能够学习滤波器的空间支持以及特征图的持续演化，与生物模型密切相关。DCNs 在标准图像分类和重构问题中具有多功能且广泛适用，可以提高参数和数据效率，并允许元参数化。我们展示了 DCNs 学习的尺度分布的生物合理性，并研究了它们在神经科学启发的模式补全任务中的性能。最后，我们通过改变输入对比度来实现 DCN 的高效实现。

    Feb, 2024