深度融合网络

May, 2016

Deeply-Fused Nets

Jingdong Wang, Zhen Wei, Ting Zhang, Wenjun Zeng

TL;DR本文介绍了一种深度融合的神经网络，能够学习多尺度表现并由浅层网络和深层网络联合学习，提出的网络相比 ResNet 和 Highway 等方法具有更好的性能表现。

Abstract

In this paper, we present a novel deep learning approach, deeply-fused nets. The central idea of our approach is deep fusion, i.e., combine the intermediate representations of base networks, where the fused outpu

deeply-fused nets deep learning multi-scale representations shallow base network resnet

发现论文，激发创造

Deep Fusion: 利用预训练的初始值进行高效的网络训练

该研究介绍了 Deep Fusion 的有效方法，利用预训练小型网络的初始化来加速训练过程，减少计算需求，提高自然语言处理任务的泛化性能。

Jun, 2023

FitNets: 纤细深度神经网络的提示

本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的实验表明，这种方法能够在参数规模几乎是教师网络的十分之一的条件下，取得比教师网络更好的性能。

Dec, 2014

深度卷积神经网络中的非迭代知识融合

该研究提出了两种方法可以将具有不同知识的神经网络的信息合并，一个是通过加权和的简单操作，另一个是通过修改权重来转移知识；这些方法被应用于分类等任务，并证明其效率。

Sep, 2018

CentralNet: 多层融合多模态方法

本文提出了一种新的多模态融合方法，通过整合来自多种媒体的信息产生最佳决策。该方法通过引入一个中央网络来连接模态特定网络，提供了一个公共特征嵌入和模态特定网络的正则化，其性能经过验证在四个不同的计算机视觉任务中得到了改进。

Aug, 2018

训练非常深的网络

本文介绍了一种名为 “HighWay Network” 的新型深度神经网络模型，采用门控单元对信息流进行监控，以实现高效的信息传递，从而克服了训练深度神经网络的问题。

Jul, 2015

深度神经网络的推理阶段统一和合并

本文提出了一种新的卷积神经网络合并方法，在共享权重的基础上，将训练好的两个具有不同架构的网络在推断阶段融合为一个统一的模型，以适应资源有限的设备，实验结果表明此方法有效。

May, 2018

图像修复的深度融合网络

该论文提出了一种称为深度融合网络（DFNet）的技术，该技术通过引入一个融合块生成灵活的 alpha 合成地图，将深度图像补全与现有内容和谐地融合在一起，同时提供注意地图以使网络更加关注未知像素，从而获得质量更好的图像补全结果。

Apr, 2019

融合式深度神经网络：快速且鲁棒的行人检测方法

提出了基于深度神经网络的快速、精准行人检测方法，并将像素级语义分割网络集成到网络融合架构中，以提高检测性能和速度。该方法比现有技术更好地检测小尺寸和遮挡的行人，在 Caltech 行人数据集的多个指标上效果显著优于其他方法。

Oct, 2016

全球连接神经网络

深度学习架构的性能下降问题，以及 GloNet 架构作为传统架构 ResNets 的一个强有力的替代方案。

Nov, 2023

深度网络实现数据特征

本文研究深度神经网络在实现数据特征方面的优势，发现相比浅层神经网络，深度神经网络能够在不需要额外容量开销的情况下，提高实现某些复杂特征的性能，但在实现一些简单特征方面，深度神经网络的逼近率与浅层神经网络的相同，呈对数级别，在固定深度的情况下，存在一定的局限性。

Jan, 2019