深度虚拟网络用于多任务记忆高效推断

CVPRApr, 2019

深度虚拟网络用于多任务记忆高效推断

Deep Virtual Networks for Memory Efficient Inference of Multiple Tasks

Eunwoo Kim, Chanho Ahn, Philip H.S. Torr, Songhwai Oh

TL;DR本研究提出了一种名为深度虚拟网络 (DVNs) 的新型网络结构，能够为不同的任务构建特定的网络配置，使其适应不同的内存预算并能在多任务学习时达到较高的性能。

Abstract

Deep networks consume a large amount of memory by their nature. A natural question arises can we reduce that memory requirement whilst maintaining performance. In particular, in this work we address the problem of memory efficient learning for multiple tasks. To this end, we propose a

deep virtual networks memory efficient learning multiple tasks hierarchical structure parameter budget

发现论文，激发创造

共享内存的深度多任务学习

本研究提出了两种深度神经网络结构，加入外部记忆共享于多个任务中训练，实验表明该结构帮助相关任务，提高文本分类任务效果。

Sep, 2016

通过多级原位生成实现内存高效神经网络

本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

Aug, 2021

跨域 Few-shot 学习的分层变分记忆

本研究提出了一种基于分层原型模型和层次内存的神经记忆方法，该方法能够在领域转移的情况下，灵活地依赖不同语义层面的特征来适应新任务，而数据驱动的学习方法进一步可以使模型自适应地选择最具通用性的特征。该方法通过大量消融实验验证了性能的显著提升，尤其在跨领域和少样本分类方面表现出了显著优势。

Dec, 2021

深度价值网络学习评估和迭代优化结构化输出

采用一种深度价值网络进行结构化的输出预测，对不同输出配置下给定输入的任务损失进行准确估计，包括图像分割和多标签分类，实现了表现最先进的结果。

Mar, 2017

多域深度神经网络的高效参数化

本文提出用一些适量的参数区分不同的子任务，从而在视觉领域的多个任务中进行迁移学习，此类参数化极易压缩且具有较高的性能。

Mar, 2018

树形 DNN: 一个深度容器网络

提出了一种名为 TreeDNN 的架构及其训练方法，用于多个数据集的多任务训练，同时减少 ROM 存储要求并提高系统的响应速度。

Dec, 2022

移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

多子网络假设：通过在前馈神经网络中隔离特定任务的子网络实现多领域学习

本文阐述了神经网络在多任务学习方面的应用，介绍了神经网络过度参数化和权值修剪技术的理论基础，提出了一种新的神经网络表示结构，使得修剪神经网络可以在多个任务上实现性能提升，而不会出现遗忘或性能减少的问题。

Jul, 2022

DenseNets 的内存高效实现

该技术报告介绍了一种减少 DenseNet 在训练期间内存消耗的策略，使得可以在单个 GPU 上训练非常深的网络，并在 ImageNet ILSVRC 分类数据集上获得了最先进的单剪裁 top-1 误差为 20.26%。

Jul, 2017

双卷积神经网络

本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

Oct, 2016