多任务学习的模型选择弹性深度网络

ICCVSep, 2019

多任务学习的模型选择弹性深度网络

Deep Elastic Networks with Model Selection for Multi-Task Learning

Chanho Ahn, Eunwoo Kim, Songhwai Oh

TL;DR本文提出一种用于多任务学习的实例动态网络模型选择方法，该方法基于一个精简而准确的主干架构为每个任务的实例提供多个不同配置的层级结构网络模型进行估计，并利用选择器从候选模型池中动态地选择最佳模型。实验结果表明该方法具有出色的性能，并可以在多个任务中实现按实例选择模型的功能。

Abstract

In this work, we consider the problem of instance-wise dynamic network model selection for multi-task learning. To this end, we propose an efficient approach to exploit a compact but accurate model in a backbone archite

dynamic network model selection multi-task learning backbone architecture estimator selector

发现论文，激发创造

一种分布式神经网络架构，用于动态传感器选择，应用于带宽受限的身体传感器网络

我們提出了一種動態感測器選擇方法，用於深度神經網絡（DNNs），能夠針對每個具體的輸入樣本推斷出最佳的感測器子集選擇，而不是對整個數據集使用固定選擇。我們通過 Gumbel-Softmax 技巧在端到端的方式中聯合學習了這種動態選擇，在標准反向傳播中學習離散的決策。然後，我們展示了如何使用這種動態選擇來增加無線感測器網絡（WSN）的壽命，通過對每個節點允許傳輸的頻率施加限制。我們通過包含動態空間濾波器進一步提高性能，使得任務 - DNN 能夠更好地處理多種可能的節點子集。最後，我們解釋了如何在 WSN 的不同節點之間分配最佳通道的選擇。我們在身體傳感器網絡的情境中驗證了這種方法，其中我們使用真實的腦電圖（EEG）感測器數據來模擬 EEG 感測器網絡。我們分析了傳輸負載和任務準確性之間的權衡結果。

Aug, 2023

可控的动态多任务架构

本文提出了一种可控的多任务网络，该网络根据用户所需的任务偏好和资源限制以动态方式调整其架构和权重，并通过利用任务亲和性和一种新的分支规则化损失来训练两个超级网络以预测适应权重的树状模型。

Mar, 2022

muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％以上的参数。

May, 2022

深度神经网络选择性分类基准测试

通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。

Jan, 2024

适应性神经网络的高效推理

通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

Feb, 2017

面向边缘端的协同多任务神经结构搜索优化稠密预测性能

该论文提出了一种名为 EDNAS 的新型架构，通过多任务学习（MTL）和硬件感知神经架构搜索（NAS）的联合学习，成功地提高了边缘平台上稠密预测的准确性，并通过提出 JAReD 方法降低了输出噪声，并揭示了最佳架构。

Oct, 2022

动态训练和可定制推断的弹性神经网络

通过动态神经网络的方法，我们提出了一种训练大型网络并在推理阶段从中提取子网络的简单方式，以满足模型尺寸或复杂性约束，实验证明该方法可以在单个大型模型中显著缩短训练时间，并在不同子网络尺寸和复杂性上有效提高分离性能。

Dec, 2023

级联深度分类器的高效摊销推理

该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

Oct, 2017

基础模型是高效的多模态多任务模型选择器

通过大规模基础模型将不同下游任务的多样化标签格式转换为统一的噪声标签嵌入，从而通过简单的加权线性回归估计模型的可传递性，提出了一个高效的多任务模型选择器 (EMMS)。与现有方法相比，EMMS 在图像识别、引用、字幕生成、视觉问答和文本问答等多个任务中取得了更好的性能，并在耗时方面带来了显著加速。

Aug, 2023

选择高层特征：来自层次分类网络的高效专家

该研究引入了一种新的专家生成方法，它通过将顺序处理通用低级特征与高级特征的并行和嵌套结合起来的新的分层分类网络拓扑结构，实现了动态降低任务和计算复杂度的能力。该方法在资源受限条件下能够选择只有任务相关类别的高级特征，可以显著减少推理成本，对于轻量级和可适应性的网络设计具有前瞻性意义。在动态推理方面，我们的方法可以排除高达 88.7% 的参数和 73.4% 的 GMAC 操作，与比较基准相比，在所评估的案例中，平均减少了 47.6% 的参数和 5.8% 的 GMAC 操作。

Mar, 2024