Aug, 2023

可微分权重掩码用于领域转化

PDF
TL;DR深度学习模型在计算机视觉中的一个主要缺点是它们无法以模块化的方式保留多个信息源。本研究结合了深度学习和权重掩码方法，研究了三种权重掩码方法，并分析了其在源任务上减少 “遗忘” 并在目标任务上进行高效微调的能力。发现不同的掩码技术在保留源任务知识的同时不会对目标任务性能产生不利影响。
deep learning modelsmodular fashionsource tasktarget taskweight masking
发现论文，激发创造
  • 使用二进制掩码通过权重转换将新任务添加到单个网络中

    本文研究了可视识别算法中增量学习的问题，并探讨了一种基于二进制掩码的深度神经网络多任务学习方法，试验结果表明本方法能够超越传统的微调策略并取得最新公开数据集中的最高水平。

    May, 2018

  • 神经网络是否具有模块化特性？通过可微分的权重掩码检查功能模块化

    本文提出了一种基于学习二进制权重掩码的方法来识别神经网络中负责特定功能的权重和子网，探讨了神经网络中模块化的新趋势以及相关问题如系统化语言任务的普遍性不足。

    Oct, 2020

  • Piggyback: 学习掩蔽权重以将单一网络适应于多个任务

    本文提出了一种方法，通过二进制掩码的方式嫁接在已有的神经网络上，从而实现在新任务上达到较好性能的同时不影响旧任务的性能，该方法基于网络量化和剪枝的思想，以端对端可微的方式学习掩码，能够像微调网络一样学习大量的滤波器，适用于大规模分类，性能稳定、无遗忘现像，且任务顺序不影响性能。

    Jan, 2018

  • 基于权重的域自适应掩码

    在计算机视觉中，本文提出 Weight-based Mask Network (WEMNet) 方法，采用 Domain Ignore Module (DIM) 和 Semantic Enhancement Module (SEM) 来解决传统无监督域适应 (UDA) 方法存在的问题，通过权重进行特征提取和分类，实现对前景特征的重点关注，该方法在经典 UDA 数据集上实现了更高的准确性。

    Apr, 2023

  • HyperMask：自适应基于超网络的掩码用于持续学习

    通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。

    Sep, 2023

  • 可学习的局部掩模提升对抗迁移能力

    本文提出了一种基于可学习掩模和差分进化算法的预处理方法，通过裁剪模型特定区域以提高泛化性和对抗迁移性，可以进一步提高现有方法的攻击成功率，同时提供了在 Imagenet 数据集上的实验支持。

    Jun, 2023

  • 调制适配器多领域学习

    本文提出使用 Modulation Adapters 进行卷积滤波器权重更新的方法，从而在多领域的图像分类任务中取得了比现有最先进方法更好或相当的效果。

    Jul, 2023

  • 基于相似源域的多源对抗迁移学习与局部特征

    本文提出了一种基于本地特征相似度的多源敌对转移学习方法，通过子网络提取单个来源域和目标域之间的可转移本地特征，用注意力模块对其进行加权，以抑制不可转移的本地特征并增强可转移的本地特征；并证明了该方法在只有本地相似性的转移场景中的可行性，实验中在提出的数据集 “局部 Carvana 图像遮蔽数据集” 的图像分割任务中，实现了比其他多源转移学习方法更好的转移性能。

    May, 2023

  • 在域内外泛化中平衡特异性和不变性的学习

    本研究提出了一种域特定掩码模型，旨在提高领域内和领域外的泛化性能，在 PACS 和 DomainNet 中实现与先前的方法竞争性能。

    Aug, 2020

  • 多子网络假设：通过在前馈神经网络中隔离特定任务的子网络实现多领域学习

    本文阐述了神经网络在多任务学习方面的应用，介绍了神经网络过度参数化和权值修剪技术的理论基础，提出了一种新的神经网络表示结构，使得修剪神经网络可以在多个任务上实现性能提升，而不会出现遗忘或性能减少的问题。

    Jul, 2022