自动搜索资源有效分支多任务网络

Aug, 2020

自动搜索资源有效分支多任务网络

Automated Search for Resource-Efficient Branched Multi-Task Networks

David Bruggemann, Menelaos Kanakis, Stamatios Georgoulis, Luc Van Gool

TL;DR本文提出了一种基于不可微神经网络结构搜索的有原则方法，用于自动定义多任务神经网络编码阶段的分支结构。该方法通过引入资源感知损失来使模型尺寸动态地可控，最终在有限资源预算内找到高性能分支结构。

Abstract

The multi-modal nature of many vision problems calls for neural network architectures that can perform multiple tasks concurrently. Typically, such architectures have been handcrafted in the literature. However,

neural network multi-modal differentiable neural architecture search multi-task resource-aware loss

发现论文，激发创造

分支式多任务网络：决定共享哪些层

本文提出了一种自动构建分支式多任务网络的方法，通过利用任务的亲和性，在特定预算（可学习参数的数量）内生成架构，在给定预算的情况下，我们的方法始终产生性能最高的网络，而在某些性能阈值下，只需要最少的可学习参数。

Apr, 2019

多任务学习的分支学习

本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

Jun, 2020

可控的动态多任务架构

本文提出了一种可控的多任务网络，该网络根据用户所需的任务偏好和资源限制以动态方式调整其架构和权重，并通过利用任务亲和性和一种新的分支规则化损失来训练两个超级网络以预测适应权重的树状模型。

Mar, 2022

深度多模态神经架构搜索

本文提出了一种深度多模态神经网络架构搜索（MMnas）框架，通过使用基于梯度的 NAS 算法，可以高效地学习不同任务的最佳架构，并设计了一个统一的编码器 - 解码器骨干网络，其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作，以及面向不同多模态学习任务的特定头部。实验结果表明，MMnasNet 在三个多模态学习任务上显着优于现有的最先进方法，包括视觉问答、图像文本匹配和视觉定位。

Apr, 2020

跨多种拓扑结构搜索的多任务学习动态神经网络

本文提出一个多任务学习框架，利用限制 DAG-based 中央网络和特征共享来构建适应性强的结构，并使用流量约束和挤压损失将网络压缩离散化，从而实现在多个公共 MTL 数据集上达到最先进的性能。

Mar, 2023

通过神经架构搜索对预训练语言模型进行结构修剪

基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

May, 2024

神经网络架构搜索：综述

本文通过分类讨论搜索空间、搜索策略与性能估计策略三种维度，为神经架构自动搜索方法的存在研究提供了一个概述。

Aug, 2018

神经架构搜索综述

本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

May, 2019

寻找用于密集图像预测的高效多尺度架构

在本文中，我们探索了以场景解析、人物部分分割和语义图像分割为任务的密集图像预测的元学习技术的构建，我们构造了一个有用的搜索空间并演示了即使是通过有效的随机搜索，我们也能够找到优于人工设计的架构以及在城市街景解析、人物部分分割和语义图像分割等三个密集预测任务上实现的最先进水平，同时减少一半的参数和计算成本。

Sep, 2018

通过网络转换实现高效架构搜索

本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

Jul, 2017