Jul, 2024

看前或看周围？自回归与掩码预训练之间的理论比较

PDF
TL;DR通过建立理论框架，比较了两种主要生成式自监督学习范式 —— 自回归 SSL 和掩码 SSL 在分类和内容生成任务中的优势和局限性，并提出了多样性增强的自回归和可变长度掩码目标，显著提高了自回归 SSL 的分类性能和掩码 SSL 的生成性能。
generative self-supervised learningautoregressive sslmasked sslclassificationcontent generation
发现论文，激发创造
  • 自监督掩码图自编码器

    本研究提出了一种掩蔽图自编码器 (GraphMAE)，解决了基于结构数据增强和复杂的训练策略的对比学习的不足之处，侧重于特征重建，并表现出优异的性能。

    May, 2022

  • 差异掩蔽：选择连续预训练中需掩蔽的内容

    提出了一种名为 “Difference-Masking” 的自监督学习预训练方法，在多语种和多模态视频任务中超越了基准方法，验证了其在自然语言处理和视觉等领域的有效性。

    May, 2023

  • 掩码自编码器在视觉和其他领域的自监督学习中的调查

    本文是针对掩膜自编码器在自监督学习中扮演的角色所做的综述，着重于介绍其在视觉模式识别领域中的应用，包括历史发展、最新进展以及对各种应用的影响。

    Jul, 2022

  • 时间序列的自监督学习：对比或生成？

    自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

    Mar, 2024

  • GraphMAE2: 一个集解码增强的掩码自监督图学习器

    本文提出了一种基于掩蔽自监督学习框架 GraphMAE2，利用多视角随机重新覆盖解码策略和潜在表示预测策略，并通过广泛的实验表明其在各种公共数据集上始终产生顶级结果。

    Apr, 2023

  • 预测 MAE：基于掩码自编码器的运动预测的自监督预训练

    通过引入 Forecast-MAE，一种专为自我监督学习运动预测任务设计的掩模自编码器框架的扩展，利用标准 Transformer 块以及最小的内在偏差，我们在具有挑战性的 Argoverse 2 运动预测基准测试上进行的实验表明，Forecast-MAE 取得了与依赖于监督学习和复杂设计的最先进方法竞争性的性能，并且明显优于以前的自我监督学习方法。

    Aug, 2023

  • 模态不可知的元学习遮蔽自编码器的自监督学习

    通过将 Masked Auto-Encoder（MAE）作为一个统一的、与模态无关的自监督学习框架，通过元学习对其进行解读，并从统一提高其在不同模态下的自监督学习的动机出发，我们提出了 MetaMAE。我们的关键思想是将 MAE 的掩码重构视为元学习任务，并通过未掩码标记的变换器元学习的涉及来预测掩码令牌。基于这个新颖的解读，我们提出了集成两种先进的元学习技术的方法。首先，我们使用基于梯度的元学习来适应变换器编码器的平均潜在因素以增强重构。然后，我们通过任务对比学习来最大化平均化和适应化潜在因素之间的对齐，从而指导变换器编码器更好地编码任务特定的知识。我们的实验证明了 MetaMAE 在与模态无关的自监督学习基准（称为 DABS）中的优越性，明显优于之前的基线。

    Oct, 2023

  • 自监督学习的了解：基于图像的生成与判别式训练调查

    介绍了自监督学习在图像领域的应用，包括贡献和历史视角，并提出了一些有前途的研究方向。

    May, 2023

  • 半自回归训练改善掩码预测解码

    该研究提出了一种新的训练方法 SMART，通过模仿 mask-predict 的半自回归行为，使得训练样本包含模型预测作为输入，以进一步提高使用 mask-predict 解码的翻译质量，有效缩小了半自回归和全自回归模型之间的性能差距。

    Jan, 2020

  • 简单有效的遮掩扩散语言模型

    简化的掩码离散扩散模型在语言建模方面的性能优于以往认为的水平，可以用于训练只有编码器的高效采样语言模型，并在语言建模基准测试中取得了最新的最佳结果。

    Jun, 2024