UM-Adapt: 无监督的多任务适应，使用对抗性跨任务蒸馏

ICCVAug, 2019

UM-Adapt: 无监督的多任务适应，使用对抗性跨任务蒸馏

UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation

Jogendra Nath Kundu, Nishank Lakkakula, R. Venkatesh Babu

TL;DR本文提出 UM-Adapt 框架，集成了两种新颖的正则化策略，并利用跨任务知识蒸馏模块和能量函数来实现无监督域适应。通过实验我们证明了 UM-Adapt 的卓越泛化性能，并在多个任务上取得最先进的迁移学习结果。

Abstract

Aiming towards human-level generalization, there is a need to explore adaptable representation learning methods with greater transferability. Most existing approaches independently address task-transferability and cross-domain adaptation, resulting in limited generalization. In this pa

representation learning unsupervised domain adaptation multi-task learning regularization strategies generalizability

发现论文，激发创造

基于优化轨迹提纯的医学图像领域自适应分类

我们提出了优化轨迹蒸馏，这是一种统一的方法，从新的角度解决了两个技术挑战。我们充分利用了梯度空间的低秩特性，并设计了一种双流蒸馏算法，以从可靠的源获得外部指导来规范不充分标注的域和类的学习动态。我们在多个任务上对所提出的方法进行了广泛评估，结果证明了其在临床和开放世界中的显著效果和改进。

Jul, 2023

跨域对比学习用于无监督域自适应

该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估，这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。

Jun, 2021

BERT 无监督领域自适应的知识蒸馏

利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

Oct, 2020

多目标域自适应与协作一致性学习

本文提出了一种协同学习的框架，在不需要额外的标注数据的情况下实现多目标领域自适应。通过专家模型训练和权重规范化来得到单模型适用于多目标领域的结果，并且在多个任务上表现出了不俗的效果。

Jun, 2021

基于跨模态域适应的医学图像分割中频率和空间域内的领域差异降低

本文提出了一种基于多教师蒸馏框架下的频率和空间域转移的简单有效的无监督领域自适应方法，其中使用非下采样轮廓波束变换来识别域不变分量和域变分量，并使用批次动量更新的直方图匹配策略来减少图像风格偏差。两个医疗图像分割数据集上的实验表明，我们的方法优于现有最先进的方法。

Nov, 2022

多领域判别器与自适应自训练的无监督领域自适应

本文提出一种基于无监督域自适应（UDA）的方法，针对城市场景的语义分割应用领域，将深度神经网络从合成数据源，适应到真实数据源上，通过引入对抗模块和自训练策略实现充分对齐两个数据分布，模块化的架构使得模型适用范围更广，实验结果表明该方法的有效性和稳健性。

Apr, 2020

语义分割中的多目标对抗框架跨域适应性

本研究致力于解决面向多个目标域的无监督域自适应语义分割任务，提出了两种对抗性框架以实现多目标自适应，并在四个新的多目标基准测试中表现出色。

Aug, 2021

深度对抗式注意力对齐：无监督域自适应的优势 —— 以目标期望最大化为例

本文提出了一种使用注意力对齐和后验标签分布估计的卷积神经网络自适应无监督域适应的方法，在 Office-31 数据集上超过其他最先进的方法 2.6％。

Jan, 2018

自我监督下的无监督领域自适应

本文研究无监督领域自适应，提出了一种将源域和目标域之间的表示进行对齐的方法，从而使目标域数据的分类准确性更高。该方法利用自监督任务对两个域进行训练并成功地泛化到目标域。在实验中，我们获得了四个标准基准测试中的最先进结果，并在分割适应性方面取得了有竞争力的结果。

Sep, 2019

学习聚类以在不同领域和任务间进行转移

该论文提出了一种新的方法，将迁移学习视为学习聚类的问题，通过相似性信息的迁移学习和聚类网络的学习，实现了跨领域和跨任务的转移学习。作者使用了相似性网络和两种新方法来探究无监督域自适应和跨任务学习，并在该领域展现了最新成果，将其与其他算法进行比较。同时，该方法可以应用于不同的数据集，从而增加了灵活性和稳健性，并通过进一步与域适应法相结合，获得了更好的性能。

Nov, 2017