本文旨在通过提供收敛所需的全部条件的理论证明，研究在神经网络训练领域中，这种收敛的理论先决条件是否适用。然后，通过在单层神经网络上使用 IRIS 数据集进行实验验证这些条件。

Apr, 2024

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020

本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

Aug, 2017

本研究旨在回顾各种最先进技术，探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络，并成功实现了在 MNIST 数据集上仅使用 1500 个参数达到 99.2% 的高准确度，并在 CIFAR-10 数据集上仅使用超过 140K 个参数达到了 86.01% 的高准确度。

May, 2022

本文提出了一种多阈值（MT）方法，以缓解由二值激活带来的精度损失，从而使 SNNs 可以在更少的步骤达到更高的准确性，通过在 CIFAR10，CIFAR100 和 DVS-CIFAR10 上的评估，证明了 MT 可以广泛促进 SNNs，特别是在早期步骤中，例如，使用 MT，基于 Parametric-Leaky-Integrate-Fire（PLIF）的 VGG 网络甚至可以在 1 个步骤中胜过 ANN 对应物。

Mar, 2023

本文介绍了在高维环境下，使用 M-estimators 在广义线性回归模型中需要风险最小化，并提出了第一个 IHT 样式算法在高维统计学中的分析框架，这对于稀疏回归和低秩矩阵恢复等问题具有实际应用价值。

Oct, 2014

本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的实验表明，这种方法能够在参数规模几乎是教师网络的十分之一的条件下，取得比教师网络更好的性能。

Dec, 2014

本文研究基于知识蒸馏的紧凑深度神经网络模型用于语音识别任务，并通过序列训练和适应进一步提高模型的准确率。在 AMI 会议语音识别语料库上的实验结果表明，该方法显著提高了模型的准确性，同时减小了模型参数规模与识别准确率之间的差距。

Aug, 2016

本研究探讨了将高速公路网络应用于训练小型印记的深度神经网络，结果发现其在语音识别领域的性能超过了常规的深度神经网络，同时也显著减小了模型的参数数量。

Dec, 2015

本文提出了一个双重 IHT 算法来优化基于稀疏性的极小化模型，并建立了一个用于正则化的损失函数的稀疏对偶理论，这为我们提供了一组足够和必要的条件来在对偶公式中等价地解决原始的 NP-hard / 非凸问题。数值结果证明了双重 IHT 算法在模型估计准确性和计算效率方面优于现有的主 IHT 样式算法。

Mar, 2017