动态神经网络即所需要的：理解神经网络中动态机制的鲁棒性

Aug, 2023

动态神经网络即所需要的：理解神经网络中动态机制的鲁棒性

Dynamic Neural Network is All You Need: Understanding the Robustness of Dynamic Mechanisms in Neural Networks

Mirazul Haque, Wei Yang

TL;DR通过对三个模型和两个数据集进行评估，我们发现从 DyNNs 到 SDNNs 的攻击传递性高于从 SDNNs 到 DyNNs 的攻击传递性，以及 DyNNs 可以更高效地生成对抗样本。然后，通过研究，我们提供了增强 DyNNs 对静态模型生成的攻击的鲁棒性的设计选择的见解，并提出了一种新的攻击方法来理解动态机制引入的额外攻击面并提供提高抵抗攻击的设计选择。

Abstract

deep neural networks (DNNs) have been used to solve different day-to-day problems. Recently, DNNs have been deployed in real-time systems, and lowering the energy consumption and response time has become the need of the hour. To address this scenario, researchers have proposed incorpor

deep neural networks dynamic mechanism robustness attack transferability adversarial samples

发现论文，激发创造

动态神经网络：一项综述调查

本文综述了动态神经网络在深度学习领域的最新研究进展和主要研究方向，分析了其在计算效率和适应性等方面的优势，总结了架构设计、决策方案、优化技术和应用开发等方面的研究问题以及未来发展的方向。

Feb, 2021

移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

边缘设备上可靠和自适应分布式推理的流体动力学 DNNs

分布推理是边缘上高效 DNN 推理的一种流行方法。本文引入了专为分布推理设计的流体动态 DNNs（Fluid DyDNNs），通过使用新颖的嵌套增量训练算法来提高其子网络的独立和组合操作能力，从而增强系统的可靠性和适应性。在嵌入式 Arm CPU 上评估了一个 DNN 模型和 MNIST 数据集，在单设备故障的情况下，Fluid DyDNNs 确保推理的持续性，而 Static DNNs 和 Dynamic DNNs 则失败。当设备全部正常运行时，Fluid DyDNNs 可以在高精度模式下达到与 Static DNNs 相当的准确性，或者在高吞吐量模式下分别比 Static 和 Dynamic DNNs 提高 2.5 倍和 2 倍的吞吐量。

Jan, 2024

动态图神经网络调查

图神经网络已成为从图结构数据中有效挖掘和学习的强大工具，但大多数研究侧重于静态图，忽视了真实世界网络的动态特性，该论文提供了对基本概念、关键技术和最新动态图神经网络模型的全面综述。

Apr, 2024

基于深度神经网络不确定性估计的动态集成选择以提高对抗鲁棒性

通过使用动态组合选择技术，该研究提出了一种在模型级别上利用 Dirichlet 分布和多样性约束构建替代集成模型空间的方法，以保护模型免受白盒攻击并提高鲁棒性，同时结合动态和多样性特性，实现了显著的鲁棒性结果而不损害准确性。

Aug, 2023

使用概率建模动态优化神经网络结构

本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

Jan, 2018

动态深度神经网络：通过选择性执行优化精度 - 效率平衡

介绍一种名为 D2NN 的动态深度神经网络，其允许对输入进行选择性执行以优化计算效率，同时借助控制器模块和整合强化学习的反向传播算法进行端到端训练以优化精度和效率。

Jan, 2017

GradMDM: 动态网络的对抗性攻击

本研究旨在探讨动态神经网络对能源导向攻击的鲁棒性，特别是采用我们的新算法 GradMDM 攻击动态模型，结果显示 GradMDM 可显著提高计算复杂性同时减少扰动的可感知性。

Apr, 2023

DDDM：脑启发式框架用于稳健分类

通过结合 Dropout 和 Drift-Diffusion Model，提出了 DDDM 模型，使深度神经网络更具鲁棒性，从而在图像、语音和文本分类任务中表现出较高的性能和抗对抗攻击的能力。

May, 2022

自然语言处理中动态神经网络的调查

通过动态神经网络中的 skimming 这个研究方向，可以很好地解决预训练语言模型参数过多的问题，实现神经网络的有效扩展，为处理自然语言提供有效的支持。

Feb, 2022