Oct, 2023

基于神经架构搜索的级联多任务自适应学习

PDF
TL;DR利用神经架构搜索（NAS）框架提出一种自动且有效的自适应学习方法来优化端到端级联多任务模型，通过在每个特定模块上选择冻结、插入适配器和微调等候选自适应操作，并在损失函数中添加了一个惩罚项限制学习结构，成功地压缩优化参数至相当于全微调的 8.7% 并获得更好的性能。
cascaded modeladapter modulesadaptive learning methodneural architecture search (nas)fine-tuning
发现论文，激发创造
  • 神经微调搜索用于少样本学习

    本研究从神经结构搜索的角度探讨了在 few-shot 识别中如何设计最优的适应策略，包括适配器的排列方式、哪些层保持冻结、哪些层进行微调等，并在 Meta-Dataset 和 Meta-Album 上展示了技术的普适性和最新的性能。

    Jun, 2023

  • 用于大型预训练语言模型参数高效微调的神经架构搜索

    探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

    May, 2023

  • NLP 的参数高效迁移学习

    通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

    Feb, 2019

  • 使用神经架构搜索和早期停止的图像分类中的两阶段架构微调

    本文介绍了利用预训练神经网络和基于神经体系结构搜索的两阶段微调概念，使用突变方法和提前终止搜索等策略，实验结果表明我们的方法减少了 32.4％的计算成本和 22.3％的搜索成本。

    Feb, 2022

  • 通过神经架构搜索对预训练语言模型进行结构修剪

    基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

    May, 2024

  • 多任务神经模型搜索的迁移学习

    本文介绍了不同层面的深度学习神经网络结构搜索方法，指出当前手动搜索神经网络结构的困难和繁琐，提出了一种基于强化学习和多任务学习的神经网络结构自动化搜索算法 -- 多任务神经模型搜索算法 (MNMS)，可用于自动化拟合多项任务，其最大的特点在于，采用了迁移学习的思路，将训练模型所获得的知识迁移到下一个任务当中，大幅度节省了搜索时间，提高了模型效果。

    Oct, 2017

  • 深度多模态神经架构搜索

    本文提出了一种深度多模态神经网络架构搜索（MMnas）框架， 通过使用基于梯度的 NAS 算法，可以高效地学习不同任务的最佳架构，并设计了一个统一的编码器 - 解码器骨干网络，其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作，以及面向不同多模态学习任务的特定头部。实验结果表明，MMnasNet 在三个多模态学习任务上显着优于现有的最先进方法，包括视觉问答、图像文本匹配和视觉定位。

    Apr, 2020

  • 基于适配器混合的预训练模型自我扩展的持续学习

    自我扩展且具模块化适应的预训练模型的细调方法 (SEMA) 在连续学习中自动决定何时重用或添加适配器模块，并根据不同表示层检测到的剧烈分布变化来进行适应，通过比较基于视觉转换的连续学习适应方法，证明了该框架优于当前最先进的方法且无需记忆回放。

    Mar, 2024

  • 通过集成学习提高神经架构搜索图像分类器的性能

    本文提出了 AdaNAS 算法，利用集成技术将神经网络组合成一组小型神经网络集合，并采用基于知识蒸馏的新技术，迭代地训练小型神经网络，取得了 CIFAR-10 数据集中可比较的结果和 CIFAR-100 数据集中的最佳结果。

    Mar, 2019

  • 持续和多任务架构搜索

    本研究提出了一种新颖的连续体系结构搜索方法和一种基于多任务学习的组合单元结构搜索方法，通过块稀疏性和正交性约束实现连续的进化学习，同时通过联合控制器奖励实现学习到的单元结构在多个任务上的优秀表现，成功应用于句子对分类和视频字幕生成等多领域任务中。

    Jun, 2019