深度可分离卷积满足学习多个视觉领域的需求

Feb, 2019

深度可分离卷积满足学习多个视觉领域的需求

Depthwise Convolution is All You Need for Learning Multiple Visual Domains

Yunhui Guo, Yandong Li, Rogerio Feris, Liqiang Wang, Tajana Rosing

TL;DR本文提出一种基于深度可分离卷积的多领域学习体系结构，以捕获不同视觉领域之间的通用结构，并介绍一个门控机制，促进不同领域之间的软共享。在 Visual Decathlon 挑战赛上，我们的方法可以取得最高分数，比现有方法所需的参数数量少 50％。

Abstract

There is a growing interest in designing models that can deal with images from different visual domains. If there exists a universal structure in different visual domains that can be captured via a common parameterization, then we can use a single model for all domains rather than one model per domain. A model aware of the relationships between different dom

multi-domain learning depthwise separable convolution cross-domain correlations gating mechanism visual decathlon challenge

发现论文，激发创造

调制适配器多领域学习

本文提出使用 Modulation Adapters 进行卷积滤波器权重更新的方法，从而在多领域的图像分类任务中取得了比现有最先进方法更好或相当的效果。

Jul, 2023

多尺度和多层次对比学习用于领域泛化

通过结合多层和多尺度的特征，利用深度卷积神经网络来提高图像分类器的领域泛化能力，并提出了一种新颖的目标函数，使用对比学习的方法约束提取的特征在分布转移下保持不变，实验证明该方法在多个数据集上均表现出与之前方法相比更好的性能。

Aug, 2023

显微镜图像分类的多领域学习卷积神经网络模型

本文提出了一种多领域学习架构用于显著不同的显微镜图像的分类，使用新的优化技术规范训练期间的潜在特征空间来提高网络性能。通过在三个不同的公共数据集上进行评估，该分类器优于现有技术，对有限标记数据稳健，并且切换到新实验时帮助消除设计新网络的负担。

Apr, 2023

使用残差适配器学习多个视觉领域

该论文介绍了一种利用适配器残模块进行数据表示学习的深度网络架构，该网络能够被灵活地指引至不同的视觉领域中，实现了高度的参数共享并保持或提高了特定领域表示的准确性。同时，该论文还提出了 Visual Decathlon Challenge 基准评测系统，用于同时评估表征的能力并测量其识别不同领域的能力。

May, 2017

领域 Mixup 在异构域泛化中的应用

针对深度卷积神经网络的广义性能力不足的问题，提出了一种混合多个来源域的样本的新型异构域泛化方法，通过 Visual Decathlon 基准实验验证了方法的有效性。

Sep, 2020

学习所有模型的一种模型

本研究旨在通过建立一个深度学习模型，同时训练图像分类、多语种翻译、图片描述生成、语音识别以及英文解析等多个任务，并在各个任务上都达到良好的结果。该模型特别之处在于将多个计算块集成到架构中，如卷积层、注意力机制和稀疏门控层等，每个计算块都对一部分任务至关重要，但即使对于不是关键任务的块，也不会影响其它任务的表现。同时，该研究还发现，少样本的任务集成到多个任务进行训练将会有较大提升。

Jun, 2017

预算感知剪枝：用较少的参数处理多个领域

通过剪枝模型，我们能够在具有多个领域的测试环境中处理更少的参数和更低的计算复杂度，从而更好地适应资源受限的设备。

Sep, 2023

深度分解：在高效卷积神经网络中加速可分离卷积

本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

Oct, 2019

网络解耦：从常规到深度可分离卷积

该论文提出了一种称为网络解耦（ND）的训练方法，可以将已有的卷积神经网络模型转换到 MobileNet 等深度可分离卷积结构中，进而加速 CNN，减少严重的准确度下降。通过实验，作者证明了 ND 与其他训练 - free 方法正交，可以更大程度的加速 CNN。

Aug, 2018

跨任务和领域传递良好特征的学习

本文提出一种基于知识迁移和神经网络的方法，使得在新领域中，能够在有限或无额外监督的情况下利用特定领域中已学知识解决新任务，并且在特征空间约束和映射网络方面提出了一些策略，从而在合成到真实的语境下，利用单目深度估计和语义分割任务之间的知识迁移，获取了令人满意的结果。

Jan, 2023