多分支网络中的连接学习

Sep, 2017

Connectivity Learning in Multi-Branch Networks

Karim Ahmed, Lorenzo Torresani

TL;DR该研究提出了一种基于学习算法的多分支卷积神经网络模型，通过优化单一损失函数同时学习多个分支之间的连接关系，应用于多类别图像分类任务，取得优于同等学习能力的 ResNeXt 多分支网络的准确率。

Abstract

While much of the work in the design of convolutional networks over the last five years has revolved around the empirical investigation of the importance of depth, filter sizes, and number of feature channels, recent studies have shown that branching, i.e., splitting the computation al

convolutional neural networks branching multi-branch architectures learning algorithm image classification

发现论文，激发创造

MaskConnect: 梯度下降学习连通性

本文提出了一种利用模块化设计原则、通过学习连接来自动优化神经网络架构的算法，在多类图像分类任务中，使用 ResNet 和 ResNeXt 两种常见架构进行实验，结果表明与传统模块连接规则相比，学习连接的方法可以显著提高模型准确性并实现参数数量的节省。

Jul, 2018

多任务学习的分支学习

本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

Jun, 2020

从拓扑学角度学习神经网络的连接性

本文提出了一种基于拓扑结构优化神经网络连接性的方法，通过为边分配可学习参数并施加稀疏约束，更聚焦有关键作用的连接，并获得在图像分类和目标检测等任务中的显著改善。

Aug, 2020

分支式多任务网络：决定共享哪些层

本文提出了一种自动构建分支式多任务网络的方法，通过利用任务的亲和性，在特定预算（可学习参数的数量）内生成架构，在给定预算的情况下，我们的方法始终产生性能最高的网络，而在某些性能阈值下，只需要最少的可学习参数。

Apr, 2019

交叉连接网络用于检测和分割的多任务学习

提出一种新的多任务学习架构，即跨连接卷积神经网络，它通过卷积层连接单任务 CNN，在不同的数据集上实现检测和分割，并在行人和野生鸟类数据集上进行实验，表明该方法可以学习通用表征并显著提高检测性能。

May, 2018

自动搜索资源有效分支多任务网络

本文提出了一种基于不可微神经网络结构搜索的有原则方法，用于自动定义多任务神经网络编码阶段的分支结构。该方法通过引入资源感知损失来使模型尺寸动态地可控，最终在有限资源预算内找到高性能分支结构。

Aug, 2020

AssembleNet: 在视频网络中搜索多流神经连接

本文提出一种名为 AssembleNet 的方法，通过进化算法自动发现连接更好、时空交互更强的神经网络结构，以达到更好的视频理解效果。该方法在公共视频数据集上优于以往的方法，尤其是在 Charades 数据集上，58.6% 的 mAP 表现尤为出色。

May, 2019

BranchyNet: 通过从深度神经网络中早期退出实现快速推理

本文介绍一种新颖的深度网络架构 ——BranchyNet，该架构通过引入额外的支路分类器，允许预测结果提前退出网络，实现较高置信度下的快速推理，以此同时提高网络的分类准确度，并有效地降低网络的推理时间。

Sep, 2017

图像类别增量学习通用双分支框架

通过引入轻量级卷积网络的两分支连续学习框架，实现对深度神经网络中灾难性遗忘问题的改善和性能提升。

Feb, 2024

多分支结构的深度神经网络更少非凸性

我们研究了类似 ResNeXt、Inception、Xception、SqueezeNet 和 Wide ResNet 的多路神经网络结构，并发现这些架构的成功原因之一在于它们较少具有内在非凸性，我们提供了两类网络结构对其对偶间隙的量化保证，表明在这些网络的分支数量增加时，对偶间隙会缩小到零，而这个结果使我们更好地理解了过度参数化的能力和减少非凸问题表面的重要意义。

Jun, 2018