提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

Jul, 2020

本文介绍了一种网络体系结构，称为 dynoNet，利用线性动态算子作为基本构建块。由于这些块的动态性质，dynoNet 网络专为序列建模和系统识别目的而设计。运用现有的深度学习软件，定义了线性动态算子的反向传播行为，这使得包含线性动态算子和其他可微单元的结构化网络的端到端训练成为可能。本文通过在知名系统识别基准测试上展示了所提出的方法的有效性。

Jun, 2020

本文综述了动态神经网络在深度学习领域的最新研究进展和主要研究方向，分析了其在计算效率和适应性等方面的优势，总结了架构设计、决策方案、优化技术和应用开发等方面的研究问题以及未来发展的方向。

Feb, 2021

本文提出了一种稳定学习动态系统的方法，该方法采用联合学习动态模型和李雅普诺夫函数的方法，这样学习的系统在整个状态空间内保持稳定，同时它也能够被结合到其他深度生成模型中学习复杂的动态系统，例如视觉纹理。

Jan, 2020

本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络，提出了梯度均衡算法，内联子网络协作方法和一对所有知识蒸馏算法等三种方法，以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10，CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。

Aug, 2019

分布推理是边缘上高效 DNN 推理的一种流行方法。本文引入了专为分布推理设计的流体动态 DNNs（Fluid DyDNNs），通过使用新颖的嵌套增量训练算法来提高其子网络的独立和组合操作能力，从而增强系统的可靠性和适应性。在嵌入式 Arm CPU 上评估了一个 DNN 模型和 MNIST 数据集，在单设备故障的情况下，Fluid DyDNNs 确保推理的持续性，而 Static DNNs 和 Dynamic DNNs 则失败。当设备全部正常运行时，Fluid DyDNNs 可以在高精度模式下达到与 Static DNNs 相当的准确性，或者在高吞吐量模式下分别比 Static 和 Dynamic DNNs 提高 2.5 倍和 2 倍的吞吐量。

Jan, 2024

提出一种名为 DIA 的注意力网络单元，该单元在不同的神经网络层之间共享单个注意力模块，从而在各种视觉任务中提高了现有自我注意力模块的准确性，并且具有强大的正则化能力，能够通过增强层间信息交流和梯度值有效地恢复和提高其训练不稳定性。

Oct, 2022

通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

Feb, 2017

本文提出了一种神经网络决策过程的两个阶段，分别是前向推理和反思阶段，这两个阶段共同构成了内省学习。我们使用训练好的神经网络梯度来衡量内省反思的程度，并使用多层感知器对反思结果进行预测。我们发现内省网络的鲁棒性更强，在处理嘈杂数据和需要泛化和校准的场景中表现更好。

Sep, 2022

该研究利用连续时间动力系统的方法，将深度残差网络理想化为动力系统，从逼近的角度研究其通用逼近性，并建立了新的近似理论，揭示了流映射逼近组合函数的新范例，促进了深度学习中有用的数学框架的建立。

Dec, 2019