- 研究自监督方法以实现标签高效学习
视觉变换器结合自监督学习,在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型,在不同自监督预训练任务(对比学习、聚类和掩模图片建模)的低样本学习能力以及应对崩溃的方法(居中、ME-MAX 和 Sinkhorn) - 低数据条件下的自监督视觉学习:一项比较评估
在相对有限 / 受约束的数据集中,通过比较实验评估了现代视觉自监督学习方法的有效性,发现针对特定领域的下游任务,在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练,为该领域中各类自监督学习方法的性能提供了有价值的见解,并提出了 - 多视图自监督方法在音乐标记中的实验比较
在音乐领域应用自监督学习,通过研究和比较新的自监督方法,证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。
- 以解剖导向的成像平面的自监督学习方法应用于医学图像数据
我们提出了两个互补的预训练任务,基于医学图像数据的空间关系,用于深度网络的预训练,结果表明这些预训练任务对目标任务有显著的提升效果,且优于其他最近的方法。
- SSL - 交互:交互轨迹预测的前置任务
本文研究了在多智能体环境中的动作预测问题,提出了一种名为 SSL-Interactions 的方法,通过预先任务增强了交互建模以进行轨迹预测。该方法引入了四种考虑智能体交互的预先任务,并通过构建交互密集场景的数据集来提高交互模型的学习性能。 - 一种新的双流时频对比预训练任务框架用于睡眠阶段分类
利用自我监督学习解决了许多有监督方法所面临的大量注释数据的需求,本研究在时域和频域中引入了双流预训练任务架构,并在睡眠阶段分类任务中通过引入频率相似性预训练任务,成功地提高了任务精度,并得到了具有意义信息的学习嵌入表示。
- PathoDuet:H&E 和 IHC 染色病理切片分析的基础模型
基于组织病理学图像的自监督学习方法,构建了预训练模型以应用于多种下游任务,并提出了新的预训练任务,通过跨尺度定位和跨染色转移,有效提高模型性能,证实了这些模型的优越性。
- 从预文本到目的:批自适应自监督学习
本文研究自我监督对比学习中的两个关键因素:批大小和预设任务,并提出了一种自适应的批融合技术,通过降维和重构批数据,使以前孤立的个体数据能够通过嵌入层在批内进行通信,随着训练进行,自适应地增强自我监督特征编码能力。通过在 ImageNet-1 - 通过对应关系实现端到端(实例)- 图像目标导航的新发现现象
通过使用预设任务和双编码器模型,本研究针对视觉导航中的视觉对应问题和目标检测进行了改进,取得了显著进展并在两个基准测试中达到了最佳性能。
- 理解自监督学习在表格异常检测中的局限性
通过多个实验我们发现自我监督学习在表格数据的异常检测方面并没有改善,这是因为神经网络引入了无关特征,降低了异常检测器的效果,但我们演示了利用神经网络表示的子空间可以恢复性能。
- 自监督解决无监督异常检测的困境和机遇
自我监督学习在无监督异常检测中起到重要作用,对 SSL 策略的选择、超参数的调整、预处理任务和增强函数的设计以及基于密度估计的预训练模型的利用提出了新的发展和挑战。
- 不要冻结:微调编码器以获得更好的自监督 HAR
本文探讨了自监督学习在人类活动识别领域解决标记数据不足的问题,通过学习预测任务,可以得到有用的表示用于分类,并发现不冻结表示可以在预测任务中实现显著性能提升并且效果与标记数据量成反比。
- 自监督学习食谱
本研究旨在通过类似于烹饪食谱的方式,为自监督学习领域提供基础知识和最新技术,并降低进入此领域的门槛,让好奇的研究人员更好地了解方法的地形并掌握所需的知识。
- 超越同质性的多视图图形表示学习
该研究提出了一个多视角方法和多样化预文本任务引入的框架,即 Multi-view Graph Encoder (MVGE),以捕捉图形中的不同信号,并在合成和现实数据集上进行了广泛实验,并显示出显着的性能改进。
- 节奏与音高:自监督节奏估计的理解
本文通过实验分析自监督的音高估计模型在节奏估计中的适用性和鲁棒性,探究了输入表示和数据分布之间的关系。
- 最大熵编码的自监督学习
本研究利用 Maximum Entropy Coding 算法优化表征模型,消除表征偏差,提高模型泛化性能并在多项下游任务上取得最先进的性能表现,证明了该算法可以学习可迁移的自我表征模型。
- ECCV无监督无源领域适应的并发子公司监督
本研究提出了使用辅助预处理任务,通过贴纸干预分类作为有监督的辅助任务来协助在无监督领域适应中减轻源域和目标域之间的领域移位,并开展了一些实验证明其有效性。
- ECCV自监督学习的定制与监督学习
本文探讨了如何将自监督任务应用于有监督学习,在此基础上提出了一种针对有监督学习的自监督任务 —— 预测可定位的旋转(LoRot),并通过实验证明其可应用于高鲁棒性和泛化能力。
- ECCV通过分层聚合实现树形结构感知的 Few-Shot 图像分类
通过预设任务获得的知识可以增强 few-shot 学习的性能,本文提出了一种插件式的层次树结构方法 (HTS),通过层次树构建和选择汇聚组件在下游任务中选择和整合最佳特征表征来适应新颖类别,实验结果表明,该方法在四个基准数据集上实现了新的最 - ICCV通过回收边界框进行自监督的三维单目物体检测
研究了在单目 3D 物体检测中使用预文本任务来提高性能的自监督学习方法,并且通过随机窗口来标记建立自监督训练模型以分类真实和假象检测集的目标物体来达到我们的目的,即解决前景 - 背景不平衡问题,ICFW mAP 得分进一步证明方法的有效性。