深度神经网络作为协同分类器的层

AAAIJan, 2020

深度神经网络作为协同分类器的层

DNNs as Layers of Cooperating Classifiers

Marelie H. Davel, Marthinus W. Theunissen, Arnold M. Pretorius, Etienne Barnard

TL;DR本文探讨了全连接前馈神经网络中隐藏节点的激活模式，提出了从两个信息处理系统，即连续性和离散性的角度来看待这种网络分类能力的新方式，并且重点突出了这两者搭配的重要性，为深度学习中神经网络的泛化能力提供了新的思路。

Abstract

A robust theoretical framework that can describe and predict the generalization ability of deep neural networks (DNNs) in general circumstances remains elusive. Classical attempts have produced complexity metrics

deep neural networks generalization ability activation patterns information processing systems gradient-based optimization

发现论文，激发创造

深度神经网络的生成学习

本文的研究旨在深度神经网络的生成式学习问题上提出一种中间方法，通过前向计算得出一个简化版的贝叶斯概率多层模型，并且运用转置的方法使得识别和生成网络更加符合数据的联合概率模型。通过实验发现，这种联合对组的生成对模型足够强大，可以很好地进行识别和生成任务。

Sep, 2017

基于复杂网络理论的深度神经网络：一种观点

通过复杂网络理论和统计物理结合，此研究工作扩展了现有的复杂网络度量指标，从纯拓扑分析转变为与深度学习可解释性相关的分析方法，提供了探究深度神经网络的物理根源，超越传统的输入 - 输出关系和复杂网络拓扑分析。

Apr, 2024

基于概念层的深度神经网络泛化解释

从交互概念的角度解释深度神经网络的泛化能力，定义交互概念的复杂性，发现简单概念可以更好地推广到测试数据，研究发现学习复杂概念的绕道动态解释了复杂概念的高学习难度和低泛化能力。

Feb, 2023

深度学习系统作为复杂网络

该文章使用复杂网络中常用的技术研究了深度置信网络，以期获得从学习过程中得到的计算图的结构和功能特性的一些见解。

Sep, 2018

深度神经网络作为复杂网络

本文运用复杂网络理论将 DNN 表示为一个有向带权图，并介绍了一些度量方法，可以研究 DNN 作为动力学系统的性能，并发现度量方法可以区分低性能和高性能网络。

Sep, 2022

深度监督网络

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

聚类内部：一种正则化 DNN 的隐式学习能力

本文研究深度神经网络的正则化机制，提出其通过提取类别样本的有意义聚类来实现隐含的正则化，证明这种聚类测度可以准确预测不同超参变化下的泛化性能。

Mar, 2021

深度卷积神经网络分析的改进

本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

Apr, 2016

训练神经网络的统一框架

我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。

May, 2018

深度神经网络中的协作逐层判别学习

本文提出了一种基于层的鉴别性学习方法来增强深度神经网络的鉴别能力，在多个层上引入多个分类器，使它们协同工作进行分类，通过对多个深度网络和基准数据集的实验，证明了该方法的有效性，并分析了该方法和经典条件随机场模型之间的关系。

Jul, 2016