Oct, 2023

通过异构自监督学习增强表示

PDF
TL;DR利用异构自监督学习的互补性，通过在基础模型中引入异构的辅助头部架构，提出了异构自监督学习（HSSL）方法，并发现基础模型的表示质量随着架构差异的增加而提高。该方法与各种自监督方法兼容，在图像分类、语义分割、实例分割和目标检测等各种下游任务中表现优秀。
heterogeneous self-supervised learningcomplementarityrepresentation learningarchitecture discrepancydownstream tasks
发现论文，激发创造
  • 自我监督学习中摆脱手工制作的架构：一个网络并不能统治所有

    大规模研究表明，在自监督学习中，网络架构起着重要的作用，因此作者提议在 SSL 环境中学习网络的权重和体系结构，从而提高性能并超越手工设计的体系结构。

    Mar, 2022

  • 重型图片增强的定向自监督学习

    本文提出了一种方向性自我监督学习模式，采用重度增强策略生成更难学习的视角并将其与轻度增强视图进行匹配，建立了基于方向性的目标函数来提高模型的性能表现；实验结果表明，该模式能够有效训练出更具泛化性的模型。

    Oct, 2021

  • 生成模型能否改善自监督表示学习？

    自我监督学习通过使用生成模型生成语义一致的图像增强，丰富了学习强大视觉表示的方法，并显著提高了学习到的视觉表征的质量。

    Mar, 2024

  • 超级表示：基于神经网络权重的自监督表示学习用于模型特征预测

    本文提出了在神经网络中使用自监督学习方法来学习超级表示法，引入了特定领域的数据增强和适应的注意力架构，并通过实验证明该方法能够较好地预测超参数、测试精度和泛化差距，并能用于超越分布场景。

    Oct, 2021

  • SSHR：利用自监督层级表征进行多语言自动语音识别

    通过使用自我监督学习 (SSHR) 的分层表示，我们提出了一种新方法来优化多语种自动语音识别 (ASR)。我们分析了自我监督学习模型的不同层次，发现了与语言和内容相关的信息，从相关的中间层中提取与语言相关的帧，并通过自注意机制引导针对特定内容的提取。此外，我们使用提出的 Cross-CTC 在最后几层中引导模型获取更多与内容相关的信息。通过在 Common Voice 和 ML-SUPERB 这两个多语种数据集上的评估，实验结果表明我们的方法在我们所知的范围内达到了最先进的性能。

    Sep, 2023

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 基于超图的自监督学习与高效采样信号

    SE-HSSL 是一个基于超图的自我监督学习框架，通过两个无需采样的目标和一个基于层次关系的对比目标来解决超图自我监督学习模型中的负样本采样偏差和计算效率问题。实验证明，与现有方法相比，SE-HSSL 在有效性和效率上都具有优势。

    Apr, 2024

  • 同态自监督学习

    本文提出了一种称为同态自监督学习的通用框架来统一和概括现有许多自监督学习算法，理论上展示了它如何包括输入增强，提供增强同态特征提取器，在简单的增强实验中进行验证，同时进一步地探索了该框架的参数与传统基于增强的自监督学习的参数之间的关系，并讨论了这种新视角对自监督学习的潜在好处。

    Nov, 2022

  • 一个概率模型解释自监督表示学习

    自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

    Feb, 2024