- HOLMES:使用多个检测器检测对抗样本
通过监测深度神经网络(DNNs)的输出(logits),我们提出了 HOLMES(Hierarchically Organized Light-weight Multiple dEtector System),用于检测潜在的对抗性示例,以加 - A2-DIDM:面向分布式 DNN 模型的隐私保护累加器辅助审计
通过配置零知识证明的模型权重检查点来记录身份和保证正确性的 A2-DIDM 模型提出了一种累加器启用的分布式 DNN 模型身份审计方法,同时利用区块链和零知识技术保护数据和函数隐私,并保证轻量级链上验证。
- TBNet: 用于可信执行环境中深度神经网络模型保护的神经结构防御框架
TBNet 是一种基于 TEE 的防御框架,从神经结构的角度保护 DNN 模型,利用非受信 Rich Execution Environment (REE) 中的计算资源减少延迟并利用物理隔离的 TEE 保护模型,在树莓派上的实验结果表明 - ForestColl:异构网络纺织品上的高效集体通信
在现代 DNN 模型不断增大的同时,加速器之间的集体通信(allreduce 等)成为一个重要的性能瓶颈。在今天高度多样化和异构的网络结构下,设计高效的通信调度是具有挑战性的。本文提出了 ForestColl,一种为任何网络拓扑生成高效调度 - FLLIC:功能无损图像压缩
通过联合降噪和压缩的新范式,我们提出了功能性无损图像压缩(Functionally Lossless Image Compression,FLLIC),它对优化降噪图像进行无损压缩(优化可能是任务特定的),虽然不能与有噪输入实现字面上的无损 - 协调深度神经网络:一种多功能的边缘卸载算法
在本研究中,我们提出了一种名为 CoDE 的新算法,它能够协同处理深度神经网络模型,从而实现低延迟的边缘 AI 服务。通过利用自身和其他模型的参数,DNN 模型可以创建新的推理路径,从而降低本地计算负荷,同时只对精度产生最多 2% 的影响。 - 面向可适应优化算法的灵活准确性导向深度学习模块推断延迟预测框架
深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。
- Moirai:面向异构设备的分布式推理优化放置
Moirai is a device placement algorithm that leverages runtime inter-operator fusion to render a coarsened computation gr - 潜在噪声分割:神经噪声如何导致分割和分组的出现
通过数学演示,在现实假设下,神经噪声可以用于分离对象,并且在 DNN 网络中添加噪声使其能够对图像进行分割,从而产生与人类感知中观察到的感知分组现象一致的分段性能。
- 通过多分辨率学习提高深度卷积神经网络的稳健性
当前的深度学习学习过程,无论使用何种深度神经网络 (DNN) 架构和 / 或学习算法,本质上是单分辨率训练。我们探索多分辨率学习并表明,多分辨率学习可以显著提高 DNN 模型在一维信号和二维信号 (图像) 预测问题中的鲁棒性。我们不仅在噪声 - 弹性分布式训练大型模型的管道模板
Oobleck 采用规划执行的共同设计方法,通过生成一组异构的流水线模板,并实例化至少 f+1 个逻辑上等效的流水线副本以容忍 f 个同时故障,依赖于副本之间已复制的模型状态快速恢复,并保证在 f 个或更少的同时故障后,初始创建的流水线模板 - Rockmate:基于 PyTorch 的高效、快速、自动化和通用重现工具
Rockmate 是一个自动化工具,从模型代码开始生成一个等效的模型,使用预定义数量的内存来控制 PyTorch DNN 模型训练时的内存需求。
- 面向带宽和资源受限的物联网系统的灵活分割 DNN 的精简编码器
在边缘计算和分布式计算的背景下,通过使用基于可改变编码器的分层执行,我们提出了一种创新的拆分计算方法,该方法可以实时适应计算负载和传输的数据大小,而不会对移动设备造成太大的计算负荷,从而提高了压缩效率和执行时间。
- 通过模型再造重复使用深度神经网络模型
SeaM 是一种改进现有 DNN 模型可重用性的工具,它使用基于梯度的搜索方法搜索模型的相关权重,从而重建模型以仅保留与目标问题相关的权重,并且相较于原始模型,在分类准确性上提高了 5.85%,并且重复使用重建模型时缺陷继承平均减少了 57 - MMEPAM:移动 AI 的预测能耗模型
本研究介绍了针对不同 DNN 模型和处理源的移动 AI 应用的全面研究,重点关注计算资源利用率、延迟和能量消耗。通过广泛的实验,我们测量了所有模型的延迟、能量消耗和内存使用情况,并提出了一种基于 DNN 结构、计算资源和处理器的高斯过程回归 - ROSE: 一种强健和安全的 DNN 水印技术
该研究提出了一种轻量级、强健、安全的黑盒 DNN 数字水印协议,在训练期间注入任务特定的键图像 - 标签对,并证明该模型的所有权,从而提供保护同时保持适当的安全性和强健性。
- 通过贡献合作者选择加速 Shapley 解释
提出了一种新方法 SHEAR 来显著加速 DNN 模型的 Shapley 解释,其选择的输入特征 coalitions 遵循了 Shapley 链规则来最小化绝对误差,从而使计算既高效又准确。实验结果表明,SHEAR 在绝对误差、解释的忠诚 - Swan:面向智能手机 SoC 的高效 DNN 训练神经引擎
本文提出 Swan,这是一个优化在智能手机 SoC 上训练 DNN 模型性能的神经引擎,评估结果表明,Swan 相对于现有技术使得性能提高 1.2 - 23.3 倍。
- EF-Train: FPGA 上通过数据重塑实现高效的 CNN 设备端训练以进行在线适应或个性化
本研究设计的 EF-Train 是一种高效的 DNN 训练加速器,通过数据重塑,并建立自动计算和内存资源调度的分析模型,在低功耗边缘级 FPGA 上实现端到端的训练,最终达到了 46.99 GFLOPS 和 6.09GFLOPS/W 的吞吐 - 透过表征中和实现公平
本文提出了一种名为 RNF 的新的偏差缓解技术,该技术通过仅调节 DNN 模型的任务特定分类头来实现公平,以减少 DNN 模型的歧视,即使输入具有偏差的表示。借助 RNF,我们有效地减少了任务特定性能中的歧视。