AAAIJul, 2021

关于小型自监督对比模型的有效性研究：不使用蒸馏信号

PDF
TL;DR本文提出一种无需蒸馏信号即可训练自我监督小模型的方法，验证了小模型可以完成预文本任务且避免过拟合，但会普遍遭受过聚类问题，并提出了多种缓解过聚类的假设，通过验证技术的组合可在五种小型结构上达到基线性能的改进。
self-supervised contrastive learningsmall modelsdistillation-based methodsrepresentation spacesover-clustering
发现论文，激发创造
  • 关于蒸馏的令人惊讶的疗效作为替代预训练小模型的研究

    我们提出了一种针对小模型的训练方法，不需要吸收预训练的成本，却能获得相同的性能，并且通过知识蒸馏与对比学习的连接，能够有效地降低计算成本，提高训练速度，同时通过数据增强进一步改善性能。

    Apr, 2024

  • 简单蒸馏基线模型用于提高小型自监督模型

    本文介绍了通过蒸馏算法改进小型自监督模型的基础方法，并提出了一种离线蒸馏和在线蒸馏的基线方法，取得了新的最优表现。

    Jun, 2021

  • 自我监督学习中在线知识蒸馏

    本文提出了一种基于单阶段在线知识蒸馏的自我监督学习法 Distill-on-the-Go (DoGo)，采用深度互联策略，通过对齐两个模型的相似度得分的 softmax 概率来提供更好的表征质量，实验结果表明，该方法在存在噪声和有限标签以及区分数据方面具有显著性能提升和泛化能力

    Apr, 2021

  • 大型语言模型蒸馏不需要教师

    本文介绍了一种针对大型语言模型的任务无关的零样本评估蒸馏方法，该方法使用截断版本的大模型作为初始化，并使用语言建模目标继续预训练该模型，已从根本上解决了对任务特定学习数据的依赖。本方法可以在无法将教师和学生都放入 GPU 内存的情况下将模型尺寸有效减少 50％，并在 13 个零样本端到端任务上达到了与基准蒸馏方法相当或超越的性能和准确性，计算效率提高了 1.5 倍。

    May, 2023

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 从自监督学习中提取视觉先验

    本文提出一种新的两阶段流程，通过自监督学习和知识蒸馏来提高卷积神经网络模型在小数据集下的图像分类泛化能力，并使用新型边缘损失来更好地学习表示。

    Aug, 2020

  • 自我监督语音模型的有效蒸馏在自动语音识别中的应用探究

    本文旨在研究将 HuBERT 基于自监督学习的模型进行有效的蒸馏，用于自动语音识别。我们进行了综合研究，设计了一种简单有效的算法，将参数减少 17％，将推理速度翻倍，同时又能在功能上达到满意的性能降级。

    Oct, 2022

  • DisCo: 用蒸馏对比学习订正轻量模型的自监督学习

    本文提出了一种名为 Distilled Contrastive Learning (DisCo) 的方法，通过将主流自监督学习方法中蕴含的最有价值的信息提取出来，然后通过约束学生模型的最终嵌入与教师模型的嵌入保持一致，从而大幅缓解模型规模减小时的性能退化问题，实验结果表明，DisCo 在所有轻型模型上取得了最先进的性能，并且在部署过程中不会引入任何额外的参数。

    Apr, 2021

  • uDistil-Whisper: 通过大规模伪标签进行无标签数据过滤的知识蒸馏

    该研究论文提出了一种无监督或无标签的框架来提炼 Whisper 模型，通过这种方法，在没有使用任何标记数据的情况下，使得提炼出的模型在性能上能与教师模型相媲美或更好，并且计算和内存效率相对更高。

    Jul, 2024

  • 改善自监督语音处理模型在扭曲场景下的泛化性能

    本文提出采用交叉失真映射和域对抗训练技术对自监督学习的语音预训练模型进行知识蒸馏，以缓解性能差距问题，具有较好的性能表现。

    Oct, 2022