Nov, 2023

REDS: 动态资源约束下的资源高效深度子网络

PDF
TL;DR使用 Resource-Efficient Deep Subnetworks (REDS) 实现对变量资源的模型自适应，通过构造性地利用神经元的置换不变性来支持计算效率，以满足动态资源限制。在各项基准结构上评估 REDS，展示其在子模型测试准确性方面的出色表现，并在 Arduino Nano 33 BLE Sense 上展示对动态资源限制的自适应时间低于 40μs。
deep modelsresource variabilityresource-efficient deep subnetworkscomputational efficiencydynamic resource constraints
发现论文，激发创造
  • DRESS：动态实时稀疏子网络

    本文提出了一种名为 DRESS 的新型训练算法，用于从同一主干网络中通过基于行的非结构稀疏性采样多个子网络，并通过加权损失并行训练这些子网络，以及利用参数重用和基于行的精细采样策略来实现高效存储和设备适应。在公共视觉数据集上的大量实验证明，DRESS 比最先进的子网络具有显着更高的准确性。

    Jul, 2022

  • RED: 机器人环境动力学的系统实时调度方法

    利用 RED 系统，我们介绍了一种真实时间调度方法，旨在支持资源有限的机器人系统中的多任务深度神经网络工作负载。RED 系统通过灵活处理机器人环境动态，利用中间截止日期分配策略和工作负载优化过程，实现了对 MIMONet 的适应和最大化效能。

    Aug, 2023

  • RED-Attack: 机器学习资源有效的基于决策的攻击

    通过采用分类边界估计和对抗性噪声优化两个步骤，提出了一种资源高效的、可用于黑盒模型的决策攻击方法，即 RED-Attack，以减轻基于输出概率向量进行的深度神经网络 (DNNs) 安全漏洞所带来的风险。

    Jan, 2019

  • 嵌入式系统资源高效神经网络

    本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

    Jan, 2020

  • EdgeSpeechNets: 边缘高效的深度神经网络语音识别

    本文探讨一种人机协同设计策略，通过人驱动的设计原则网络设计原型和机器驱动的设计探索来构建语音识别的低存储深度神经网络体系结构，实验证明此设计策略可以构建出一系列高效率的 DNNs，用于有限词汇的语音识别，更高的精度与更小的网络体积以及更低的计算成本使它们非常适合设备上的语音接口应用。

    Oct, 2018

  • 动态层级革命：在移动设备上压缩循环神经网络的 DirNet

    使用一种基于优化快速字典学习算法的新型模型压缩方法 DirNet，来保证在资源受限的移动设备上实现高压缩率时的最小准确性损失。通过在神经网络的不同层级上动态挖掘字典原子并调整压缩率，并且自适应地改变稀疏编码的稀疏性，该方法在语言模型和 ASR 模型上进行实验，结果表明它比之前的方法显著优越。在现有移动设备上进行评估，我们能够将原始模型的大小缩小八倍，并实现实时模型推理，同时几乎没有准确性损失。

    Jun, 2018

  • VA-RED$^2$: 视频自适应冗余度减少

    本文介绍了一种名为 VA-RED^2 的新型冗余特征减少框架，可用于深度学习模型的视频推断，通过输入依赖的策略来减少时间和通道维度的计算量，实现了 20％-40％的计算（FLOPs）减少而无需牺牲性能。

    Feb, 2021

  • 开发一种面向表面缺陷检测的资源受限边缘 AI 模型

    我们提出了一种轻量级的 EdgeAI 架构，用于资源受限的边缘环境中的设备端训练，在 PCB 缺陷检测任务中展示出卓越的性能，同时在内存效率方面优于其他模型。

    Dec, 2023

  • 基于分布式资源感知的异构系统学习

    介绍了一种分布式训练神经网络的资源管理机制 ——DISTREAL，采用动态 dropout 机制调整每个设备的计算复杂度，通过 Pareto-optimal DSE 技术和联邦学习系统，实现了设备自主选择 dropout 向量来适应不断变化的可用资源，大幅提高了收敛速度而不损失精度。

    Dec, 2021

  • 使用长短期记忆网络的智能电网可再生能源需求预测模型 REDf

    本研究探讨使用基于深度学习的模型（REDF）来预测能源需求，以提高可再生能源的整合，并与 Facebook Prophet 和支持向量回归等算法进行了比较，结果表明 REDF 模型能以 1.4% 的平均绝对误差准确预测能源需求。

    Apr, 2023