理解局部竞争网络
本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。
Sep, 2022
通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。
Nov, 2016
本文通过贝叶斯非参数的方法，重点研究了包含线性模块的深度神经网络，推导出在推理期间数据中的模型复杂性，通过引入辅助离散潜变量，推断出必需的连接或者本地竞争集合，以及存储网络参数所需要的浮点精度，并通过实验表明，该方法效果优于现有的前沿技术而且没有降低预测准确性。
May, 2018
通过引入随机局部胜者通吃（LWTA）激活的深层网络，本文解决了元学习问题，该类型的网络单元通过将单元组织成块，其中只有一个单元生成非零输出，从而导致来自每个模型层的稀疏表示。所提出的网络明确设计为提取稀疏随机性质的输入数据表示，我们的方法在少样本图像分类和回归实验中产生了最先进的预测准确性，并在主动学习设置中减少了预测误差，并大幅降低了计算成本。
Aug, 2022
本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问题，实验结果表明该方法为标准神经网络提供了极佳的初始权重估计，并且对于使用参数优化激活函数、对抗噪声数据的拓展也提供了思路。
May, 2018
本研究探讨神经网络的损失面。结果表明，大多数情况下，即使对于具有最轻微的非线性的单隐藏层网络，经验风险也有伪局部最小值。我们对深线性网络的全局最优性进行了全面的表征，统一了这个主题上的其他结果。
Feb, 2018
通过近似正常的皮层结构为许多相互连接的合作竞争模块，我们建立了一种极其普遍的系统，以系统地推理任何网络的稳定性，由共享抑制产生竞争的网络，WTA 网络可以是多稳定的，并展现状态相关的持续活动。
May, 2011