ICLRFeb, 2022

通过主题建模理解自监督学习的鲁棒性

PDF
TL;DR本研究从主题建模的角度着手，证明了基于重建或对比样本的自监督目标都可以为一般主题模型恢复有用的后验信息，并在实验证明了同样的自监督目标表现可以与使用正确模型的后验推断相媲美，而优于使用错误模型的后验推断。
self-supervised learningnlp taskstopic modelingposterior inferencemisspecified models
发现论文，激发创造
  • 使用自监督学习能够提升模型的鲁棒性和不确定性

    自我监督能够提高深度学习在鲁棒性、异常检测等难题上的表现甚至超越了全监督学习，成为未来自我监督学习研究的新方向。

    Jun, 2019

  • HuBERTopic: 通过主题模型自我监督提升 HuBERT 的语义表示

    我们提出了一种新方法来丰富 HuBERT 的语义表示，通过将主题模型应用于伪标签以为每个话语生成主题标签，并使用主题标签作为教师添加辅助的主题分类任务，以无监督的方式融入额外的全局语义信息。实验证明，我们的方法在大多数任务中实现了与基准方法相当或更好的性能，包括自动语音识别和 8 个超级任务中的 5 个任务。此外，我们发现主题标签包含关于话语的各种信息，如性别、演讲者和主题，凸显了我们方法在捕捉多方面语义细微差别方面的有效性。

    Oct, 2023

  • 自监督表示在口语建模中的鲁棒性

    本文探讨了基于自监督学习的语音表征模型的鲁棒性问题，提出了一种基于伪标注技术的有效学习自监督语音表征的方法，该方法可显著提高语音编码的效果，并在语音翻译任务中得到了验证。

    Sep, 2022

  • 自监督学习：生成或对比

    本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.

    Jun, 2020

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 发掘模型潜力：引导式元自监督学习

    我们提出了一种新颖的自举元自我监督学习（BMSSL）框架来模拟人类学习过程，实现从少量无监督数据中学习一般视觉表征的长期目标。

    Aug, 2023

  • 面向效率的自监督语音表示学习方法

    自我监督学习在计算机视觉、自然语言处理、生物学和语音等多个领域取得突破，然而现有方法的计算成本较高，限制了模型的部署、训练数据集的规模以及拥有大型自我监督模型的研究机构的数量。因此，需要进一步研究以解决自我监督表示学习中高计算成本的问题。

    Dec, 2023

  • 自监督学习中概率嵌入潜力揭示

    自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空间，从而导致性能下降。此外，我们的发现表明，在损失空间引入额外的瓶颈可以显著增强检测超出分布示例的能力，只利用表示特征或其潜在分布的方差。

    Oct, 2023

  • 跨领域的自监督学习

    本研究提出一种对物体在不同域中的识别问题采用监督学习和自监督学习方法相结合的多任务学习算法，通过学习对象形状，掌握空间定向和部件相关性等概念，证明该算法在域通用和适应性方面具有较高的竞争力。

    Jul, 2020

  • 多视角自监督学习

    本文提供了一种信息理论框架，从多个视角探究自监督学习的特性，并介绍了可以丢弃任务无关信息的任务相关自适应目标函数，为自监督学习的目标设计提供了更加广阔的空间。

    Jun, 2020