在多领域数据集上训练的有监督对比学习所学到的表示的可迁移性
本文通过研究在 12 个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面,系统地探讨了对比学习的不同方法学习到的表示的可迁移性,结果表明对比方法学习到的表示很容易适应不同的任务。除此之外,自监督对比损失与交叉熵 / 监督对比损失的联合目标可增强这些模型的可迁移性。
Mar, 2021
本文探索对跨域情感分析任务采用对比学习方法,提出了一种修改后的对比目标,并在同一类的句子表示之间拉近,不同类的之间推远的方法,实验证明我们的模型在跨域和多域情感分析任务中都取得了最先进的性能,同时,可视化结果展示了知识转移的有效性,并通过对抗测试验证了模型的鲁棒性。
Aug, 2022
通过对音频和视频模态的对比学习,研究表明预训练网络在音乐视频的标签和流派分类任务上优于对比学习方法,通过定性分析了解对比学习在音乐视频中的困难并提出未来工作的可能方向。
Sep, 2023
使用对抗式对比学习提出了一种用于多个图领域的预训练模型,通过在拓扑结构上训练模型,并在评估时包含节点标签,我们展示了该模型在各种下游任务中与基准模型、未经训练的模型和非转移模型相比,性能相等或更好,包括在评估时使用节点标签,性能始终优于单个领域或非预训练模型。
Nov, 2023
通过结合多层和多尺度的特征,利用深度卷积神经网络来提高图像分类器的领域泛化能力,并提出了一种新颖的目标函数,使用对比学习的方法约束提取的特征在分布转移下保持不变,实验证明该方法在多个数据集上均表现出与之前方法相比更好的性能。
Aug, 2023
通过分析在有限数据集中传递自我监督对比表示与从 ImageNet 迁移的益处,研究发现对不同身体部位进行自我对比训练在相关领域比使用 ImageNet 预训练权重效果更好,并提供了一种初步量化数据集相似性的方法。
Nov, 2023
本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法,通过数据量、数据领域、数据质量和任务粒度,得出了有关成功自监督学习所需条件的新见解,其中包括:(i) 除 500k 张图像外,额外的预训练数据的收益有限;(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。
May, 2021
本文探讨无监督的跨域图像检索任务,提出了基于类簇对比学习和距离 - 距离损失的方法,无需外部监督,在 Office-Home 和 DomainNet 数据集上实验结果表明,我们的方法优于现有最先进方法。
Jul, 2022