Jun, 2020

大型自监督模型是强半监督学习器

PDF
TL;DR本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。
发现论文，激发创造
  • 图像分类的十亿级半监督学习

    通过利用大量未标记的图像，本文提出了一种基于师生范式的管道来改善卷积神经网络的性能，并对我们的方法取得成功的因素提供了广泛的分析，从而为图像分类的半监督学习产生高精度模型提出了建议。

    May, 2019

  • 自监督类感知几 - shot 分类

    本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。

    Feb, 2022

  • 大型自监督模型推进医学影像分类

    本研究探讨了自监督学习作为医学图像分类的预训练策略的有效性，使用领域特定的无标签医学图像进行自监督学习，并引入一种新颖的多实例对比学习 (MICLe) 方法，为医学图像分析中的皮肤病和胸部 X 光分类任务提供了更为准确的预测。

    Jan, 2021

  • 自监督野外视觉特征预训练

    本研究探讨了自监督学习是否能够在没有监督的情况下从随机图片上进行学习。通过 SEER 模型的研究表明，自监督学习在真实环境中的表现优于监督学习方法。

    Mar, 2021

  • 神经网络顺序转移自监督预训练调查

    本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

    Jul, 2020

  • 高效条件预训练用于迁移学习

    提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

    Nov, 2020

  • 重新思考有监督的预训练，以实现更好的下游转移

    该论文提出了一种名为 LOOK 的基于留一法 K 最近邻（Leave-One-Out K-Nearest-Neighbor）的监督预训练方法，它通过让每个图像只与其 k 个最近邻居共享其类标签，从而允许每个类展现出多模式分布，从而更好地转移至下游任务，并在多个下游任务上的实验研究表明，LOOK 优于其他监督和自监督预训练方法。

    Oct, 2021

  • 在无监督未筛选图像上进行预训练使视觉模型更健壮和公正

    通过自监督学习方法，针对各种来源、无需数据预处理的数十亿张随机图片进行训练，生成可以识别物体、风格、地理位置等信息的模型，并对其公平性、偏差等进行了多角度验证，证明其表现优异、不会对数据进行歧视和危害。

    Feb, 2022

  • 自监督预训练是否需要大规模数据集？

    本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与 ImageNet 预训练相比，使用我们介绍的变种 BEiT 的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用 COCO 数据进行预训练时，检测和实例分割性能超过了监督的 ImageNet 预训练方法。

    Dec, 2021

  • 控制性弱监督训练神经网络：避免重复导师的错误

    该研究提出了一种半监督学习方法，利用一个 “目标网络” 和一个 “置信网络” 进行多任务训练，在大量弱注释未标注数据上优化目标网络，同时用置信网络的分数来加权目标网络的梯度更新，以避免噪声标签对目标网络模型的质量造成损害，并在评估中证明其相对基线的性能得到提高，同时从弱标签中提高了学习速度。

    Nov, 2017