Apr, 2018

NAIS-Net: 从非自主微分方程构建稳定的深度神经网络

PDF
TL;DR本文介绍了非自治输入输出稳定网络（NAIS-Net），这是一种非常深的架构，每个堆叠处理块都来自于时间不变的非自治动力系统，通过跳跃连接实现非自治，从而允许强制实现稳定性，使得块能够自适应地展开到具体的模式处理深度，该网络具有非平凡的利普希茨输入输出映射，全局渐进稳定，实验结果表明，与 ResNets 相比，NAIS-Net 在实践中展现出了稳定性，使得泛化差距显著降低。
发现论文，激发创造
  • 连续深度神经网络

    通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

    Aug, 2020

  • 无限宽深度神经网络的稳定行为

    研究了全连接前馈深度神经网络中对称中心稳定分布下权重和偏置的独立同分布，证明了相应加权后权重的无穷宽极限是一种随机过程，其有限维分布是多元稳定分布。这一极限过程被称为稳定过程，并且扩展了最近利用高斯无穷宽极限进行的研究线路。

    Mar, 2020

  • NAS 模型在激活和跳连接搜索下的泛化特性

    本文研究了神经架构搜索的推广特性，使用混合激活函数、全连接和残差神经网络等搜索空间，推导出神经张量核的最小特征值的上下界，从而建立了基于 SGD 训练的 NAS 的推广误差界，同时提出了一种基于该理论的无需训练的算法，用于指导 NAS 选择最佳架构，证明了该算法的有效性。

    Sep, 2022

  • 动力系统中隐式神经网络的长期预测稳定性

    介绍了一种稳定的自回归隐式神经网络用于长期预测，通过在权重上应用硬约束传播潜在空间中的动态，证明了其稳定性并在两个输运 PDE 的长期预测中获得了改进的结果。

    May, 2023

  • 动力学视角下的分层共享注意力网络

    提出一种名为 DIA 的注意力网络单元，该单元在不同的神经网络层之间共享单个注意力模块，从而在各种视觉任务中提高了现有自我注意力模块的准确性，并且具有强大的正则化能力，能够通过增强层间信息交流和梯度值有效地恢复和提高其训练不稳定性。

    Oct, 2022

  • 超越有限层神经网络：桥接深度架构和数值微分方程

    利用数值微分方程设计方法，构建了新的网络结构 LM-architecture，能够在 CIFAR 和 ImageNet 上实现比 ResNet 和 ResNeXt 更高的性能，并且可以通过插入噪声来改善网络的鲁棒性。

    Oct, 2017

  • 利用 FedNAS 进行非 IID 和隐形数据的联邦深度学习：神经结构搜索

    研究表明基于分布式的 Federated Learning 在处理数据分布不一致的情况下存在结构不适配的情况，提出基于 Neural Architecture Search 的 Federated NAS 算法来自动化协作搜索模型架构以提高模型精度和减少手动设计工作，在非独立同分布数据集上实验结果表明 FedNAS 所搜索到的模型架构胜过手动预设的模型架构。

    Apr, 2020

  • OS-net: 轨道稳定神经网络

    介绍了一种名为 OS-net（轨道稳定神经网络）的神经网络架构，专门用于周期动力数据。OS-net 是神经常微分方程 (NODEs) 的一种特殊情况，并充分利用了基于伴随方法的反向传播方法。通过利用常微分方程理论，我们推导出保证结果动力学稳定性的网络权重条件。通过将 OS-net 应用于发现 Rössler 和 Sprott 系统的动力学，这是两种以吸引子周期倍增和混沌行为而闻名的动力学系统，我们证明了我们方法的功效。

    Sep, 2023

  • 可重构激活网络

    本文介绍了通过重新构造非线性激活函数创建硬件高效模型的新范式 -- Restructurable Activation Networks（RANs），包括硬件感知搜索空间和半自动搜索算法 RAN-explicit（RAN-e）等。通过训练自由的网络拓扑缩放方法称为 RAN-implicit（RAN-i），我们在多种硬件设备上实现了图像分类，目标检测及性能方面的全面提升，并在 ImageNet 上实现了最新的结果。

    Aug, 2022

  • 隐空间动态网络 (LDNets): 学习时空过程内在的动力学

    对于展现时空动态响应的系统的演化进行预测是促进科学创新的关键技术，传统基于方程的方法需要大规模并行计算平台和大量的计算成本。相比之下，我们提出了一种名为 Latent Dynamics Network 的新型架构，该架构使用降维和深度学习算法来描述系统演化的低维潜在空间，从而预测空间依赖场对外部输入的时间演化，并在几个测试案例上验证了该方法的高效性和精确性。

    Apr, 2023