通过任务蒸馏进行领域适应
本研究提出一种用于视觉领域适应的CNN架构,利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息,其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。
Oct, 2015
在领域自适应中,为了解决来自不同领域的相关但不同的数据对分类器性能的影响,该研究使用了两个流的架构,其中一个处理源领域的数据,另一个处理目标领域的数据。在有监督和无监督的情况下,该方法均优于现有技术,并在多个物体识别和检测任务中实现了更高的准确性。
Mar, 2016
本文介绍领域自适应和迁移学习的概述,涵盖不同类型的方案和历史浅层方法、深度卷积架构、超出图像分类的领域适应方法,以及将领域适应与其他机器学习解决方案相关联的讨论。
Feb, 2017
本文研究领域适应和泛化中的预测领域适应的问题,提出了一种能够通过图形利用辅助域中信息的深度学习架构,同时提出了一种简单有效的策略,能够在测试时利用流入的目标数据进行连续的领域适应,并在三个基准数据库上进行了实验证明了我们方法的价值。
Mar, 2019
本文提出了一种新的适应性框架,用于跨任务和领域传递知识,通过在一个完全监督域中学习跨任务和领域的知识,使其在只有部分监督域中实现性能增益。实验证明了该框架在两个具有挑战性的任务(即单眼深度估计和语义分割)和四个不同领域(Synthia、Carla、Kitti 和 Cityscapes)中的有效性。
Apr, 2019
本文提出了一种深度域自适应框架,采用鉴别偏差度量,并结合任务驱动域对齐鉴别器和域正则化器,以改进无监督域适应的性能,并在多项标准基准测试中证明了其优于现有技术的一致性。
Sep, 2019
该论文提出了一个领域不变表示学习算法,能够通过拟合联合概率分布并采用对抗学习减少不同领域之间的偏移,提高基于视觉深度学习的物体识别的表现以及在真实场景中的应用。
Nov, 2020
本文概述了深度神经网络在自动驾驶中的应用,介绍了无监督领域自适应的多种方法和针对不同方法的现有研究,提出了该领域的最新趋势和未来方向,并鼓励科学家探索更好的神经网络泛化方法。
Apr, 2023
通过设计统一模型VTDNet和挑战集Video Task Decathlon(VTD),并且采用Curriculum training, Pseudo-labeling和Fine-tuning(CPF)训练方案,本研究在自动驾驶中的图像和视频识别任务取得了突破性的进展,显著提高了性能并减少了计算量。
Sep, 2023
大型预训练视觉模型在多样的识别任务上表现出显著的泛化能力。然而,现实世界中的应用通常需要针对特定问题的紧凑模型。本文针对这一目的,提出了各种知识蒸馏的变体,使得特定任务的紧凑模型(学生)能够从通用的大型预训练模型(教师)中学习。我们展示了近期预训练模型出色的鲁棒性和多功能性挑战了文献中已经建立起来的共同实践,需要一组新的最优准则来进行特定任务的蒸馏。为了解决下游任务中样本不足的问题,我们还展示了一种基于稳定扩散的Mixup变体,该策略补充了标准数据增强,消除了工程化的文本提示的需求,改善了通用模型向精简专用网络的蒸馏。
Feb, 2024