ICCVAug, 2017

多任务自监督视觉学习

PDF
TL;DR研究多种自监督学习任务相结合的方法，用于训练单一的视觉表征，并在 ImageNet 分类、PASCAL VOC 检测和 NYU 深度预测上获得了优秀的结果。
self-supervised tasksvisual representationlasso regularizationmulti-head architecturedeep neural networks
发现论文，激发创造
  • 启发式视觉预训练的自监督和有监督多任务学习

    提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

    Oct, 2023

  • 跨域自监督多任务特征学习：使用合成图像

    本文提出了一种多任务深度网络学习通用高级视觉表示的方法，并通过对人工制成的图像进行训练来克服真实与合成数据之间的领域差异，模型考虑同步从合成 RGB 图像中预测其表面法向、深度和实例轮廓，并最小化真实和合成数据之间特征空间的差异，在广泛实验的基础上，表明我们的网络相比单任务基线学习到更具有可转移性的表示，使得在 PASCAL VOC 2007 分类和 2012 检测上能够产生最先进的迁移学习结果。

    Nov, 2017

  • 基于 3D 感知正则化的多任务学习

    通过引入结构化 3D-aware 正则化方法，将深度神经网络与多任务背景相结合，可以改善性能。

    Oct, 2023

  • 多个自监督任务的使用提高模型的鲁棒性

    本文提出了一种新的防御方法，通过同时使用多个自监督任务来动态适应输入，并避免过拟合到特定自监督任务并且恢复了图像的更多内在结构，从而显著提高了深度神经网络在对抗攻击和干净数据上的鲁棒性。

    Apr, 2022

  • 自主标记：同时聚类与表示学习

    本文提出了一种通过最大化标签和输入数据索引之间的信息来解决标签聚类与表示学习相结合的问题的新方法。该方法可以有效地对数以百万计的输入图像和数以千计的标签进行自标注，以训练高度竞争的图像表示，具有优于现有模型的性能。

    Nov, 2019

  • 层次化视觉语言表示的多任务学习

    该研究提出了一种多任务学习的方法，将来自各种不同数据集的任务共享视觉语言表示。结果表明该方法在图像字幕检索、视觉问答和视觉定位方面比先前的单任务学习方法表现更好，同时通过可视化注意力图分析了学习到的分层表示。

    Dec, 2018

  • 研究自监督方法以实现标签高效学习

    视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

    Jun, 2024

  • 将无监督目标用于大规模图像分类的监督神经网络增强

    本研究通过在神经网络中添加重构的解码路径，探究了联合监督和无监督学习的应用，通过多种自编码器的比较，提高了在计算机视觉中的监督学习表现和 ImageNet ILSVRC 2012 协议下的准确率。

    Jun, 2016

  • 12 合 1：多任务视觉和语言表示学习

    本篇文章通过开发一个大规模、多任务训练体系，研究了不同任务之间的相互关系，提出了一个单一模型，可以在视觉问题回答、基于标题的图像检索、引用表达和多模态验证等四个广泛的任务范畴下，同时取得以往 3 亿多参数内单一任务模型的总和，且性能提高了 2.05 个百分点，并进一步表明，从单一多任务模型微调任务特定模型会进一步提高性能。

    Dec, 2019

  • 自监督视觉表征学习的传递不变性

    文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

    Aug, 2017