May, 2018

通过知识转移提升自监督学习

PDF
TL;DR本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。
self-supervised learningtransfer learningneural network modelsstate-of-the-art performanceobject detection
发现论文，激发创造
  • 通过多任务自监督预训练提高对于样本外泛化能力

    本研究表明，在计算机视觉中，使用自监督学习获得的特征，在域泛化方面与或优于使用监督学习获得的特征，并引入了一个新的自监督预文本任务来预测对 Gabor 滤波器组的响应，使用多任务学习提高了域泛化性能。

    Mar, 2020

  • 神经网络顺序转移自监督预训练调查

    本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

    Jul, 2020

  • 跨领域的自监督学习

    本研究提出一种对物体在不同域中的识别问题采用监督学习和自监督学习方法相结合的多任务学习算法，通过学习对象形状，掌握空间定向和部件相关性等概念，证明该算法在域通用和适应性方面具有较高的竞争力。

    Jul, 2020

  • 多视图自监督方法在音乐标记中的实验比较

    在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

    Apr, 2024

  • 研究自监督方法以实现标签高效学习

    视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

    Jun, 2024

  • 启发式视觉预训练的自监督和有监督多任务学习

    提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

    Oct, 2023

  • 预测已知信息有助于自证自学

    这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

    Aug, 2020

  • 混合自监督学习

    自我监督学习方法可以通过使用多个预处理任务和混合专家架构作为门控网络，来改进图像分类，使模型能够自动学习和更关注对分类最有用的增强方法。在几个场景下进行测试，并使用 Grad-CAM 和 T-SNE 分析来识别影响图像分类的重要特征并适当地区分不同的类别。

    Jul, 2023

  • 通过从多个自监督学习预文本中有选择性地捕获互补知识来学习下游任务

    本文提出一项新方案，即利用注意机制自适应地挑选适合任务的表示，同时在信息论的基础上理论证明从多个预训练任务聚集表示比从单一预训练任务获取表示更为有效，大量实验表明，该方案明显优于当前流行的预文本匹配方法，能有效地收集知识和减轻下游任务中的负转移。

    Apr, 2022

  • 从预文本到目的：批自适应自监督学习

    本文研究自我监督对比学习中的两个关键因素：批大小和预设任务，并提出了一种自适应的批融合技术，通过降维和重构批数据，使以前孤立的个体数据能够通过嵌入层在批内进行通信，随着训练进行，自适应地增强自我监督特征编码能力。通过在 ImageNet-1k 上进行线性分类测试，实证结果表明我们的方法在公平比较下实现了最先进的性能。在 ImageNet-100 上，相对于原始性能，top1 最多提高了 1.25％。我们认为该方法可能有助于数据驱动的自我监督学习研究的进展，并为该领域带来新的视角。

    Nov, 2023