ICCVMay, 2019

多域学习的预算感知适配器

PDF
TL;DR本文介绍了一种多域学习 (MDL) 的方法，该方法利用预训练深度学习模型为不同的领域（例如，照片、素描、绘画）生成定制化的深度模型，以便更好地处理来自新领域的数据。通过引入 Budget-Aware Adapters，该方法可以选择最相关的特征通道，以适应新领域的数据，并自动调整网络的计算复杂度。实验结果表明，该方法可以在保持较高准确率的同时，显著减少存储和计算资源的消耗。
multi-domain learningdeep modelsbudget-aware adapterscomputational complexityrecognition accuracy
发现论文，激发创造
  • 预算感知剪枝：用较少的参数处理多个领域

    通过剪枝模型，我们能够在具有多个领域的测试环境中处理更少的参数和更低的计算复杂度，从而更好地适应资源受限的设备。

    Sep, 2023

  • 调制适配器多领域学习

    本文提出使用 Modulation Adapters 进行卷积滤波器权重更新的方法，从而在多领域的图像分类任务中取得了比现有最先进方法更好或相当的效果。

    Jul, 2023

  • 多域和多任务学习的统一视角

    本文提出了一种基于神经网络的新视角，并引入语义描述符的概念，从而将多任务学习和多域学习统一起来，并将各种经典和最新的多任务学习 / 多域学习算法解释为构建语义描述符的不同方式。通过本文的解释，可以提供一种零样本学习（ZSL）的替代方法，而且新的实践问题 —— 零样本域适应（ZSDA）也得以提出。实验表明，我们的框架在各种问题上都胜过了许多其他方法。

    Dec, 2014

  • 解耦训练：令人沮丧的易于多域学习的回归

    我们提出了一种名为 Decoupled Training (D-Train) 的多领域学习方法，它通过分为多个头部进行先预训练再后训练，最后通过固定骨干网络对头部进行微调，实现了领域的独立，尽管该方法非常简单且高效，在各种数据集的广泛评估中表现出色。

    Sep, 2023

  • 多领域对抗学习

    本文介绍了一种名为 MuLANN 的对抗性的多域学习方法，用于利用多个具有重叠但不同类集的数据集，在半监督设置中进行多域学习和域自适应，并通过实验验证其有效性，提高了在两个标准图像基准测试和一个新的生物图像数据集 Cell 上的表现。该方法的贡献包括：利用 H 散度得到的 MDL 中平均和最差域风险的界限，适用于半监督的多域学习和域自适应的新损失。

    Mar, 2019

  • 多重对抗领域适应

    本文提出一种多重对抗领域自适应方法 (MADA)，能够捕获多模态结构，利用多个领域判别器实现不同数据分布的精细对齐，利用随机梯度下降计算梯度，证据表明该模型在标准领域自适应数据集上优于现有最先进方法。

    Sep, 2018

  • 使用残差适配器学习多个视觉领域

    该论文介绍了一种利用适配器残模块进行数据表示学习的深度网络架构，该网络能够被灵活地指引至不同的视觉领域中，实现了高度的参数共享并保持或提高了特定领域表示的准确性。同时，该论文还提出了 Visual Decathlon Challenge 基准评测系统，用于同时评估表征的能力并测量其识别不同领域的能力。

    May, 2017

  • 不充足注释下的多域学习

    本文介绍了一种名为多领域对比学习（MDCL）的新方法，以减轻不充分注释对传统 MDL 方法的影响，该方法旨在捕获来自标记和未标记数据的语义和结构信息，通过在不同领域的共享和私有空间中分别对其进行处理。实验结果表明，MDCL 相对于各种共享 - 私有模型（SP models）都带来了明显的改进，而且还能在多领域主动学习中得到进一步应用，以获得更好的总体性能。

    May, 2023

  • 领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

    本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

    Jun, 2023

  • 深度学习时代的多源域适应：系统综述

    本文介绍了多源域适应的概念和相关技术方法，探讨了其在深度学习时代的发展趋势和研究方向，为该领域的研究提供借鉴和参考。

    Feb, 2020