CVPRMar, 2022

领域感知和任务感知的自监督学习

PDF
TL;DRDATA 是一种简单而有效的用于自我监督学习预训练的神经结构搜索方法，该方法使用了域感知和任务感知前置训练，并使用可灵活搜索机制寻找不同计算成本的网络，用于各种下游视觉任务和数据域，实验结果表明具有良好的通用性。
self-supervised learningneural architecture searchpre-trainingcomputation costdownstream tasks
发现论文，激发创造
  • 递归标签校准实现无数据神经架构搜索

    本文以深度预训练神经网络为基础，探究如何通过数据恢复技术以及自主生成的语义与多样性丰富的合成数据，实现在保护隐私，避免偏见等现实场景下，无需使用原始训练数据进行神经结构搜索的可行性和效果，并发现合成数据的神经结构搜索表现不亚于以往使用原始数据的搜索结果。

    Dec, 2021

  • 低数据条件下的自监督视觉学习：一项比较评估

    在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。

    Apr, 2024

  • 领域内自监督学习可提高遥感图像分类

    本文研究了自监督学习在遥感图像分类中的应用， 使用 ViT 模型和 iBOT 框架进行预训练可以提高模型预测性能。

    Jul, 2023

  • 自监督语音表示域适应微调的自动数据增强

    本篇论文提出一种用于有声学领域差异的监督领域自适应方法，通过数据增强来减小源域和目标域的差异，并在初步微调阶段使用，证明了该方法的有效性。

    Jun, 2023

  • 自监督神经架构搜索

    本研究提出了一种自监督神经架构搜索 (SSNAS) 方法，使用未标记的数据进行训练，无需使用标签数据即可发现新的网络模型，并在搜索标签数量相对较少时展示了该方法的优势。

    Jul, 2020

  • CA-SSL: 无类别偏见半监督学习用于检测和分割

    提出一种 CA-SSL 框架，采用分离训练策略，包括热身训练阶段，在保留定位训练信号的同时忽略伪标签中的类信息，实现了从未标注的数据中提取训练信号的最优平衡；在 FCOS 目标检测等任务上，相比于 ImageNet 预训练基线模型，该模型在 3.6M 无标注数据集上实现了 4.7％ 的显著性能提升。

    Dec, 2021

  • AutoAdapt: 面向无监督域自适应的自动分割网络搜索

    本文提出一种基于神经网络的自适应框架，借助神经架构搜索技术优化网络结构，使用最大均值差异和区域加权熵估计准确性度量，实现语义分割任务的无监督域自适应，提高现有自适应技术的性能表现。

    Jun, 2021

  • 自我监督学习中摆脱手工制作的架构：一个网络并不能统治所有

    大规模研究表明，在自监督学习中，网络架构起着重要的作用，因此作者提议在 SSL 环境中学习网络的权重和体系结构，从而提高性能并超越手工设计的体系结构。

    Mar, 2022

  • 图上自监督学习：深入解析和新方向

    本文旨在探究无监督自我监督学习在图神经网络中的应用，通过多个实验任务深入理解 SSL 在 GNNs 中的表现，研究了该方法何时、为什么以及哪些策略下的效果最佳，提出了新的 SelfTask 方向来创建先进的预训练任务，并在各种真实世界数据集上实现了最先进的性能。

    Jun, 2020

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022