CVPRApr, 2023

强化自我监督视觉 Transformer 预训练的标记增强技术

PDF
TL;DR该研究提出了一种插件式的 Token Boosting 模块，可用于预先训练视觉 Transformer 模型，以在面对数据噪声和不可靠性时改善模型的鲁棒性和可泛化性。实验结果表明该模块在四个不同噪声数据集上表现稳定，且提高了下游任务的性能。
pre-trainingvisual transformerscorruptiontoken boosting moduledownstream tasks
发现论文，激发创造
  • 视觉 Transformer 预训练中遮蔽和置换视觉令牌的学习

    本研究提出了一种名为 MaPeT 的新型自监督预训练方法，旨在提高基于视觉任务的性能并解决输入噪声和不一致性问题，实验结果表明其在 ImageNet 数据集上具有与竞争对手相媲美的性能。

    Jun, 2023

  • MST：遮蔽式自监督变压器用于视觉表示

    本文提出了 MST 方法，它可以显式捕捉图像的局部上下文并保留全局语义信息，在密集预测任务上有更好的性能，在多个数据集上得到验证，并优于同等时期的监督方法和其可比的变体 DINO。

    Jun, 2021

  • 通过掩码微调来弥合标记剪枝和完全预训练之间的差距

    采用蒙版微调为动态视觉转换器的静态预训练基础模型提供更好的初始化，以提高准确性并增强其对遮挡的鲁棒性和对信息丢失的抵抗能力。

    Oct, 2023

  • 使用遮蔽视觉预训练的真实世界机器人学习

    本文研究了利用自监督学习方法从真实世界的机器人任务中的多样化视频图像中进行视觉预训练，在多种机器人任务和实体上表现出了较高效果，并通过在 4.5M 张来自互联网和自怎样视角视频的大规模数据上进行的预训练，展示了对于机器人学习的视觉预培训的规模化提升的好处。

    Oct, 2022

  • 有效预训练的蒙版标记的新特性

    通过优化蒙面标记以解决自我监督学习中的效率问题，该方法称为蒙面标记优化（MTO），可实现与最新方法相当的预训练性能，减少近 50% 的预训练时期。

    Apr, 2024

  • 定位预测作为一种有效的预训练策略

    本文提出了一种新颖的、简单的、基于位置预测的 Transformer 自监督预训练策略，可以提高 NLP、语音和视觉领域的性能，并使不使用位置嵌入的 Transformers 超越使用完整位置信息的 Transformers。

    Jul, 2022

  • BEiT: 图像 Transformer 的 BERT 预训练

    本研究介绍了一种名为 BEiT 的自监督视觉表示模型，使用双向编码器表示图像转换器并进行了预训练，效果显著。

    Jun, 2021

  • 可解释的自监督变压器深入探究点云

    本文研究了 transformers 在点云领域中通过自监督学习所获得的特性，探讨了其预训练方案的有效性，分析了数据数量对网络特征的影响，提出了一种解冻策略，并在分类任务中取得了最优结果。

    Jun, 2023

  • iBOT: 在线分词的图像 BERT 预训练

    本研究研究了掩蔽图像建模，并指出在使用语义上有意义的视觉分词器时的优势和挑战，提出了一种自我监督的框架 iBOT，可以使用在线分词器执行掩蔽预测。研究表明，iBOT 可以获得显着的结果，并在图像分类和下游任务中获得领先的结果。

    Nov, 2021

  • 通过掩码重构无监督预训练双向语音编码器

    提出了一种使用掩蔽重构损失进行预训练语音表示的方法，实现了双向预训练编码器网络在典型的双向语音识别模型中的直接使用。该方法在 LibriSpeech 和 Wall Street Journal 语料库上的实验表明，预训练、掩蔽段、领域适应都能提高语音识别性能。

    Jan, 2020