可压缩领域自适应

CVPRJun, 2022

Slimmable Domain Adaptation

Rang Meng, Weijie Chen, Shicai Yang, Jie Song, Luojun Lin...

TL;DR本文提出一种简单的框架，即 Slimmable Domain Adaptation，借助权重共享模型库来改善跨域通用性，并通过 Stochastic EnsEmble Distillation 方法从中提取模型间的互补知识进行模型库中众多模型的同时优化，然后通过我们提出的非监督表现评估量进行模型的架构调整，从而在各种资源约束下超越其他竞争方法，且即使在计算复杂度降低到 1/64 时仍能保持性能改善。

Abstract

Vanilla unsupervised domain adaptation methods tend to optimize the model with fixed neural architecture, which is not very practical in real-world scenarios since the target data is usually processed by different resource-limited devices. It is therefore of great necessity to facilita

unsupervised domain adaptation cross-domain generalization slimmable neural networks ensemble distillation architecture adaptation

发现论文，激发创造

统一深度监督域自适应和泛化

本文提出了一个视觉监督领域适应和泛化深度模型的统一框架，利用孪生网络结构来学习判别性嵌入子空间，通过点对代理的分布距离和相似性来解决少量目标数据样本标注的情况下，语义概率分布的对齐与分离问题。研究表明该方法在快速自适应方面的优势表现出来，并且只需要极少量的标注目标训练样本，甚至每个类别仅需一个标注样本就可以发挥有效性。此外，该方法还可扩展到领域泛化，并且实验证明该方法在两个应用领域都有很好的效果。

Sep, 2017

借助剪枝辅助的特定领域权重调节实现持续域适应

本文提出了一种方法，旨在解决连续学习中的无监督域适应问题，通过修剪实现框架来保留特定于域的知识，并使用一种基于批次标准化的度量方法进行有效推理，取得了良好的性能，同时在防止过去领域的灾难性遗忘方面显著改善。

Apr, 2023

面向原型的无监督领域自适应框架

提出了一种高效的概率框架，用于提取类别原型并将目标特征与其对齐，进而解决当前无监督域自适应方法中的采样可变性、类别不平衡和数据隐私问题，该方法适用于多种场景，包括单一源域，多源域，类别不平衡和源隐私域自适应，无需额外模型参数且计算量适中，在性能上达到了与现有最先进方法相媲美的水平。

Oct, 2021

针对特定领域的批量归一化在无监督领域适应中的应用

提出了一种基于领域特定批量归一化的深度神经网络的新型无监督领域自适应框架，其中包括估计目标领域示例的伪标签和使用多任务分类损失进行源和目标域的学习，实现了多源领域自适应场景的全面优化。

May, 2019

少样本对抗性域自适应

采用对抗训练来学习嵌入的子空间，同时最大化两个域之间的混淆并在语义上对齐它们，解决了少量有标签目标数据样本的深度模型的有监督域自适应问题。

Nov, 2017

基于无监督域自适应的语义分割的集成蒸馏再思考

提出了一种灵活的 “ensemble-distillation 框架”，用于执行基于语义分割的无监督域自适应任务，允许任意组成集合的成员，同时保持其优越性能。通过在 GTA5 到 Cityscapes 和 SYNTHIA 到 Cityscapes 基准测试上进行广泛的实验，证实所提出方法的优越性能、鲁棒性和灵活性。

Apr, 2021

UM-Adapt: 无监督的多任务适应，使用对抗性跨任务蒸馏

本文提出 UM-Adapt 框架，集成了两种新颖的正则化策略，并利用跨任务知识蒸馏模块和能量函数来实现无监督域适应。通过实验我们证明了 UM-Adapt 的卓越泛化性能，并在多个任务上取得最先进的迁移学习结果。

Aug, 2019

领域迁移下的聚类学习

本文提出了一种基于无监督域自适应和深度聚类的方法，利用来自多个源域的数据信息建立一个与具体域无关的聚类模型，并通过特征对齐和自我监督实现有效地适应目标域。本文的方法即使在少量目标样本的情况下也能自动发现相关语义信息，并在多个域自适应基准测试中取得了最先进的结果。

Aug, 2020

类别不平衡的领域自适应：一次实证之旅

本文提出了一个更接近实际情况的机器学习问题：“不同领域的特征分布不同，且标签分布不均衡，如何将它们对齐？” 并构建了第一个包括 22 个跨域任务的基准测试数据集，并使用 COAL 模型进行了广泛的实验，发现大部分最新的领域自适应方法在同时具有特征和标签分布变化方面非常脆弱。COAL 模型能够有效地实现特征和标签的对齐，对于该问题的未来研究能提供更好的基准测试数据集。

Oct, 2019

预训练网络的少样本领域适应

提出了一种少样本领域自适应框架，通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化，可改善源模型的分类性能，实验证明该方法优于测试时适应方法，并且没有实时流条件的限制。

May, 2022