深度神经网络的推理阶段统一和合并

IJCAIMay, 2018

深度神经网络的推理阶段统一和合并

Unifying and Merging Well-trained Deep Neural Networks for Inference Stage

Yi-Min Chou, Yi-Ming Chan, Jia-Hong Lee, Chih-Yi Chiu, Chu-Song Chen

TL;DR本文提出了一种新的卷积神经网络合并方法，在共享权重的基础上，将训练好的两个具有不同架构的网络在推断阶段融合为一个统一的模型，以适应资源有限的设备，实验结果表明此方法有效。

Abstract

We propose a novel method to merge convolutional neural-nets for the inference stage. Given two well-trained networks that may have different arc

convolutional neural-nets inference architectures shared weights resource-limited devices

发现论文，激发创造

深度卷积神经网络中的非迭代知识融合

该研究提出了两种方法可以将具有不同知识的神经网络的信息合并，一个是通过加权和的简单操作，另一个是通过修改权重来转移知识；这些方法被应用于分类等任务，并证明其效率。

Sep, 2018

协作学习的成本自适应推理

我们提出了一个合作训练框架，用于深度神经网络架构，使得运行时的网络深度可以根据动态计算资源需求进行调整。

Dec, 2023

通过共同特征学习从异构网络中融合知识

本研究使用预先训练的网络作为示范，旨在学习一种能够整合各种异构结构教师的多才多艺、轻量级的学生模型，而无需获取任何人工注释信息。为此，提出了一种通用的特征学习方案，所有教师的特征都被转换成共同的空间，并且要求学生模型模仿他们的所有特征，以使完整的知识得以融合，并在一系列基准测试中证明所提出的方法的良好性能。

Jun, 2019

双卷积神经网络

本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

Oct, 2016

深度融合网络

本文介绍了一种深度融合的神经网络，能够学习多尺度表现并由浅层网络和深层网络联合学习，提出的网络相比 ResNet 和 Highway 等方法具有更好的性能表现。

May, 2016

宽 - 窄：高效训练深瘦网络

本研究提出了一种基于模型压缩和神经平均场分析的新型深度学习网络优化方法，并通过大量实验证明其优于传统的反向传播方法，可使经过我们的优化方法训练后的 ResNet50 在性能上超越 ResNet101，而 BERT Base 则可以与 BERT Large 相媲美。

Jul, 2020

LayerMerge: 神经网络深度压缩通过层修剪和合并

通过共同修剪卷积层和激活函数来提高卷积神经网络的效率，并实现所需的推理加速度，同时尽量减少性能损失。

Jun, 2024

通过层内神经元共享实现多任务压缩

本文提出了一个跨模型压缩深度神经网络的多任务压缩框架（MTZ），采用一种层次神经元共享和更新方案进行交叉模型压缩，通过 40％参数共享实现了轻微的精度损失。

May, 2018

深度神经网络的高效在线处理

本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

Jun, 2023

训练自适应深度网络的改进技术

本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络，提出了梯度均衡算法，内联子网络协作方法和一对所有知识蒸馏算法等三种方法，以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10，CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。

Aug, 2019