Apr, 2023

扩展或缩小表示，控制预训练偏差轻松实现高效迁移学习技术

PDF
TL;DR本文提出改变自监督学习模型中主干神经网络的最后一个块的维度，是解决预训练偏差问题的一种简单有效的方法，并可以提高自监督预训练模型和有监督预训练模型的迁移学习性能。
self-supervised learningpretext taskprojectorpretraining biasdimensionality
发现论文，激发创造
  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 通过从多个自监督学习预文本中有选择性地捕获互补知识来学习下游任务

    本文提出一项新方案，即利用注意机制自适应地挑选适合任务的表示，同时在信息论的基础上理论证明从多个预训练任务聚集表示比从单一预训练任务获取表示更为有效，大量实验表明，该方案明显优于当前流行的预文本匹配方法，能有效地收集知识和减轻下游任务中的负转移。

    Apr, 2022

  • 奥卡姆剃刀原则在自监督学习中的应用：什么是足够的学习良好的特征表示？

    深度学习常被描述为数据 - 架构 - 损失的三位一体。然而，最近的自监督学习 (SSL) 解决方案引入了许多其他设计选择，如投影网络、正向视图或师生网络。本研究的发现是，对于多达几十万个样本的预训练数据集，SSL 引入的额外设计对所学表示的质量没有贡献。这一发现不仅为现有的理论研究提供了正当性，而且简化了在许多小型和中型场景中实施 SSL 的从业者的路径。我们的发现回答了一个长期存在的问题：在 SSL 中遇到的对训练设置和超参数的敏感性来自其设计，而不是缺乏监督指导。

    Jun, 2024

  • 利用自监督学习提升模型公平性

    自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。

    Jun, 2024

  • SSL 交互作用：扩充、归纳偏差，与泛化

    本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

    Feb, 2023

  • 评估自监督和监督模型在顺序数据中的公平性

    自监督学习对公平性和性能的影响进行了研究，结果表明通过自我监督学习，性能可与有监督方法相媲美，同时可以极大提高公平性，尤其适用于高风险、数据稀缺的应用领域，如医疗保健。

    Jan, 2024

  • 低数据条件下的自监督视觉学习：一项比较评估

    在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。

    Apr, 2024

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022

  • 关于自监督学习的预训练数据多样性

    增加训练数据集的多样性可以提高自我监督学习的性能，但前提是下游数据的分布差异很小。即使通过网络爬虫或扩散生成的方法等方式实现了非常庞大的预训练数据多样性，分布的变化仍然是一个挑战。

    Mar, 2024

  • 解决多视角表示学习中的样本效率问题

    根据对 BarlowTwins 和 VICReg 损失的隐含偏差的理论洞察，我们提供了更具原则性的建议，指导非对比自监督学习方法的发展，并推荐使用低维度的投影器头和多个数据增强来提高样本和计算效率。

    Dec, 2023