本文探讨了使用深度卷积神经网络训练高维数据的难点，回答了在随机分层模型中学习所需的训练数据量成长与类别数、高级特征组成式的幂、重复次数成多项式关系的问题，并给出了相应的估算方法。

Jul, 2023

本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

Sep, 2019

本文证明已有的变分方法无法很好地训练分层潜变量模型，并且提出了一种不依赖先前知识、能够在多个自然图像数据集上学习高度可解释和分解分层特征的替代架构。

Feb, 2017

本文探讨了大脑如何使用 Hebbian 学习规则来避免高维稀疏分布表示的 “维度灾难” 问题，并使用特定的稀疏数据集来证实使用 Restricted Boltzmann Machines 分类器的好处。

Jul, 2022

本文针对图像超分辨率问题，提出一种结合传统稀疏编码模型和深度学习技术的神经网络模型，该模型在多种图像上已被证明在恢复精度和主观质量方面均优于目前现有的最先进方法。

Jul, 2015

本研究应用基于网络的信息过滤技术设计了一种新的深度神经网络单元，其具有由基础数据的同调结构构建的稀疏高阶图形架构，同时证明它在传统难以解决的领域，如表格数据和时间序列回归问题中的有效性，仅使用一小部分参数即可超越最先进的机器学习和深度学习模型的结果。

Jun, 2023

本文提出了一种稀疏深层堆叠网络（S-DSN），其中包括稀疏编码和加入混合范数规则的简化神经网络模块（SNNM），用于图像分类。实验结果表明，该模型在四个数据库中表现优异，尤其是在 15 个场景中达到了 98.8％的识别准确率。

Jan, 2015

本文探讨了如何在图形分类中利用图卷积网络（graph convolutional networks）进行节点嵌入（node embeddings）、不可区分形式学习（representation learning）和不可区分形式学习（differentiable graph coarsening），并且没有牺牲稀疏性，为未来基于图形的神经网络研究指出了重要方向。

Nov, 2018

本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。

Jul, 2023

研究了深度置信网络在基准数据集上的训练中抽象表示如何出现。分析表明，使用越来越深的层次处理数据，能够检测和消除特征，并将越来越多的 ' 上下文无关 ' 信息传递给更深的层次。研究表明浅层可由成对的 Ising 模型描述，这些模型提供了一种用通用的低阶特征来表示数据的方式。结果还显示，可塑性随深度增加而增加，类似于大脑。这些发现表明深度置信网络能够从数据中提取与最大相关性原则一致的特征层次结构。

Jul, 2024