本研究提出了一种名为 X-Net 的新型神经网络，通过使用交替反向传播机制，在训练过程中根据导数信息动态选择适当的激活函数，增强网络对特定任务的表示能力。同时，在神经元级别准确调整网络结构以适应不同复杂度的任务和减少计算成本。通过一系列实验，我们展示了 X-Net 在减小模型大小和提高表示能力方面的双重优势。具体而言，就参数数量而言，X-Net 的平均值仅为基准的 3％，某些任务下仅为 1.4％。在表示能力方面，仅通过优化激活函数而不引入任何参数，X-Net 在拟合任务上可以实现平均 R^2=0.985。最后，我们还测试了 X-Net 在社会、能源、环境和航空航天等多个学科的数据上帮助科学发现的能力，并取得了简洁而优异的结果。

Jan, 2024

通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

Feb, 2017

本研究旨在解决大规模多标签视觉识别问题，通过在已训练的神经网络分类器中增加辅助容量的方法，以极小的影响计算规模的前提下，显著提高模型的性能，并采用网络自身的预测作为评估视觉相似性的描述符，将标签空间划分为视觉上相似的实体组，通过增加辅助隐藏层通路，仅连接到这些标签单元组，从而在大规模对象识别任务中报告了显著的平均精度改善，同时将乘加操作数的数量增加了不到 3%。

Dec, 2014

研究引入了自然神经网络，旨在通过调整内部表示来加速收敛并改善 Fisher 矩阵的条件。使用简单高效的参数重整方式，从而能够保留神经网络的正向传播计算。研究表明，通过提出的投影自然梯度下降算法 (PRONG)，这种神经网络能够高效地训练；研究同时在无监督和监督学习任务上证明了该方法的优点，并通过对大规模 ImageNet Challenge 数据集的训练显示了其可伸缩性。

Jul, 2015

本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

Jan, 2018

本文提出了一种深度连续学习算法 ADL，它采用灵活的结构，通过自构建网络结构从头开始构建网络。ADL 通过不同深度结构来解决灾难性遗忘问题，并提出了 NS 公式、DDS 和 MICI 方法来驱动隐藏节点增长和剪枝机制、检测数据流中的分布变化并消除冗余层。在九个常见的数据流问题上进行的测试表明，ADL 能够在维持网络结构自动构建的同时，比其他现有的连续学习方法更具实效性。

Oct, 2018

本文提出了一种自适应神经决策树算法，该算法将表示学习技术嵌入决策树的边缘、路由函数和叶节点中，并采用基于反向传播的训练算法自适应扩展架构，实现了基于条件计算的轻量级推理、层次化特征分离以及适应训练数据集规模和复杂度的机制。

Jul, 2018

本文使用非参数方法研究神经网络中自动寻找最佳规模的问题，提出了一种使用 Lp 惩罚项限制增长的方法，并使用 AdaRad 优化算法进行训练，取得了良好的结果。

Dec, 2017

该研究提出了一种基于深度学习的模型 —— 辅助网络（Aux-Net），其采用加权集成分类器来处理输入特征数量的变化，具有可扩展性和敏捷性。Aux-Net 基于对冲算法和在线梯度下降算法，使用单次学习中的深度变化模型，适用于动态复杂环境，使能够处理不连贯的输入数据。在公共数据集上，实验证明了辅助网络的有效性。

Aug, 2020

提出了一种新的神经网络设计方法，其中引导传统算法设计。通过提出两种启发式算法并演示将额外权重合并到其信号流程图中的算法技术，证明了这点。展示了这些网络的性能不仅可以超过初始网络的性能，而且可以达到更传统神经网络架构的性能水平。我们方法的一个关键特征是这些网络的参数初始化具有对于给定任务的体系结构的已知性能阈值。

Jun, 2018