ImageNet 模型选择对领域自适应的影响
本文提出了一种新的深度自适应网络 (DAN) 结构,它将多个领域的分布嵌入到再生核 Hilbert 空间中,并应用最优多核选择方法以匹配均值嵌入。DAN 能够学习具有统计保证的可传递特征,并通过核嵌入的无偏估计来实现线性扩展。实验证据表明,所提出的架构在标准领域自适应基准数据集上获得了最先进的图像分类误差率。
Feb, 2015
比较了 16 种分类网络在 12 个图像分类数据集上的性能表现,发现在使用网络作为固定特征提取器或微调时,ImageNet 准确度与转移学习准确度之间存在强烈的相关性,但是在微调时,ImageNet 的泛化能力较弱,获得了更差的特征。
May, 2018
本研究对深度模型的预训练、网络结构、大小等方面进行了广泛的研究和深入分析,发现通过使用最先进的主干网络可以有效提高领域适应基线和设置新的基线,为未来的领域转移研究提供了更多的见解。
Mar, 2022
本文通过研究发现,针对新领域的迁移学习中,对于只有有限数据的情况下,通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时,对抗训练可以使学习到的表示偏向于保留形状而不是纹理,这影响了源模型的可迁移性,并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息,这至少部分解释了为什么对抗训练模型更实用。
Jul, 2020
提出了一种无监督域适应的通用框架,利用添加额外的网络和损失函数,通过使用图像翻译框架和特征提取实现在无需目标域训练数据的情况下,测试源域训练的深度神经网络在不同的目标域上的能力,并在分类和分割任务上,应用于 MNIST、USPS、SVHN 和 Amazon、Webcam、DSLR Office 以及 GTA5 和 Cityscapes 数据集,取得了最先进的性能。
Dec, 2017
本论文提出了一种基于深度卷积神经网络的适应性层及额外的领域混淆损失函数,学习既有语义意义且兼具领域不变性的表示。此方法提供了优异的实验性能,超过了之前已发表成果,如在标准化基准视觉领域适应任务的结果。
Dec, 2014
比较了不同的预训练神经网络在图像分类任务中的特征提取性能,结果表明 CLIP-ViT-B 和 ViT-H-14 模型在多个数据集上取得了最好的表现,CLIP-ResNet50 模型表现类似但变异性较小。因此,我们的研究证明了在图像分类任务中选择模型进行特征提取的合理性。
Oct, 2023
本论文提出了一种新的深度架构领域适应方法,可通过大量源域标记数据和大量目标域未标记数据的训练而实现。在提出的方法中,深层特征在源域的主要学习任务上是有区分性的,而且对于域之间的变化具有不变性。而通过增加几个标准层和简单的梯度反转层的方法可以实现该适应行为,并且此方法在图像分类实验中表现非常出色。
Sep, 2014
本文提出了一种新的领域适应的表示学习方法,使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征,该方法增加了标准层和一个新的反向梯度层,可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。
May, 2015