May, 2022

muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

PDF
TL;DR采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。
machine learningdeep neural networkmultitask learningprior knowledgefine-tuning
发现论文，激发创造
  • 大规模多任务学习系统中动态引入任务的进化方法

    本文提出了一种基于进化的技术，能够生成能够支持动态添加新任务的大规模多任务模型，并演示了该方法在 69 个公共图像分类任务上取得了有竞争力的结果，相对于在公共数据上训练的最佳模型，其错误率降低了 15%。

    May, 2022

  • 用于深度多任务网络的进化架构搜索

    通过进化优化，结合自定义路由和共享模块，提高了 Omniglot 的多任务、多字符识别的表现，为深度神经网络和复杂系统设计提供了重要思路。

    Mar, 2018

  • 从零开始进化机器学习算法的 AutoML

    本文旨在通过引入一个新颖的框架，展示 AutoML 可以进一步通过基本数学运算作为构建块自动发现完整的机器学习算法，从而大大减少人类偏见，并通过演化搜索不同类型的任务来适应算法。

    Mar, 2020

  • SubTuning: 多任务学习的高效微调

    本研究探讨了一种新的用于 fine-tuning 神经网络的方法，称为子集 fine-tuning，即只对部分层进行精细调整并锁定其余权重，该方法可以在不增加计算成本的情况下实现多任务的学习和推理，并在数据稀缺的情况下实现与完全 fine-tuning 模型相当甚至更好的性能。

    Feb, 2023

  • 一次参数训练，多任务学习与迁移学习

    本文介绍了一种基于小参数集合的深度神经网络迁移学习和多任务学习的新方法，通过调整网络中的特定组件使其适应不同任务，以达到在多个任务中共享参数并且性能表现良好的目的。

    Oct, 2018

  • 多任务大模型设备调优

    本文提出了 Device Tuning 方法来提高自注意力模型的计算效率，并通过压缩表示减少设备与云端之间的通信，有效支持多任务学习。

    Feb, 2023

  • 深度学习的进化神经自动机器学习

    本文介绍一种名为 LEAF 的进化型 AutoML 框架，不仅优化超参数，而且还优化网络架构和大小，实验结果表明优化网络架构比优化超参数显著提高了性能，并且可以在保持性能的情况下最小化网络。LEAF 因此为普及和改进 AI，以及使 AI 在未来的应用中变得实用提供了基础。

    Feb, 2019

  • 通过调整输入空间来使用预训练的骨干网络进行持续学习

    本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

    Jun, 2023

  • 使用转移学习的多目标进化剪枝深度神经网络以提高其性能和鲁棒性

    提出一种名为 MO-EvoPruneDeepTL 的多目标进化修剪算法，利用转移学习将深度神经网络的最后层替换为稀疏层，通过性能、复杂度和稳健性引导演化，实验结果表明该算法在所有目标方面都取得了有前途的结果，且网络修剪带来的影响有助于解释输入图像对于修剪神经网络预测最为相关的部分。最后通过利用不同修剪模型的集合显示整体性能和鲁棒性的提高。

    Feb, 2023

  • NetTailor：调整架构，而非权重

    提出了一种基于迁移学习的网络微调方法 NetTailor，它使用预训练的 CNN 层作为通用模块，可以与小的任务特定层组合生成新的网络，通过软注意力机制和复杂度正则化约束，最小化分类错误的同时降低网络复杂度。该方法可以使得适应简单任务的网络结构比适应复杂任务的网络结构更小，并且不降低参数共享和分类精度。

    Jun, 2019