自监督学习中概率嵌入潜力揭示

Oct, 2023

Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning

Denis Janiak, Jakub Binkowski, Piotr Bielak, Tomasz Kajdanowicz

TL;DR自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空间，从而导致性能下降。此外，我们的发现表明，在损失空间引入额外的瓶颈可以显著增强检测超出分布示例的能力，只利用表示特征或其潜在分布的方差。

Abstract

In recent years, self-supervised learning has played a pivotal role in advancing machine learning by allowing models to acquire meaningful representations from unlabeled data. An intriguing research avenue involves developing self-supervised models within an →

self-supervised learning information-theoretic framework stochastic embeddings information bottleneck out-of-distribution detection

发现论文，激发创造

压缩还是不压缩 —— 自监督学习和信息理论：一篇综述

本文综述了信息理论、自监督学习和深度神经网络三者交叉领域的最新研究进展，提出了自监督信息理论学习问题的统一框架，并讨论了信息论量的经验测量和估算方法。

Apr, 2023

通过主题建模理解自监督学习的鲁棒性

本研究从主题建模的角度着手，证明了基于重建或对比样本的自监督目标都可以为一般主题模型恢复有用的后验信息，并在实验证明了同样的自监督目标表现可以与使用正确模型的后验推断相媲美，而优于使用错误模型的后验推断。

Feb, 2022

视频对比学习的概率表示

本文提出了一种概率视频对比学习的自我监督表示学习方法，该方法基于混合高斯将视频剪辑呈现为正常分布并将它们组合成一个高斯分布混合物来建模整个视频分布，通过此方法我们可以避免对剪辑进行转换以生成增强剪辑视图的不必要策略，实验证明该方法在 UCF101 和 HMDB51 等最流行的基准测试上是最先进的视频表示学习方法。

Apr, 2022

深度表征中的不变性和分解性的出现

使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

Jun, 2017

具备 Wasserstein 距离感知的随机视觉转换器

使用随机视觉变换器和 Wasserstein 距离引入不确定性和距离意识到自监督学习中，其通过在潜在表示中集成分布嵌入和基于分布的注意力矩阵，以及应用 Wasserstein 距离的正则化项，实现在多个数据集和任务上超越自监督基准的高准确度和校准性。

Nov, 2023

从互信息角度重访语音表征的自监督学习

从信息论的角度出发，了解自监督语音表示学习的现有方法，通过使用互信息来开发度量方法，从而帮助模型设计和选择，并通过线性探测来评估表示的可访问性，展示模型在层次线性探测和语音识别上的性能。

Jan, 2024

通过解缠和自组装在随机潜空间上进行半监督学习

本文提出了一种结合半监督学习 (Semi-supervised learning, SSL) 和无监督分化表征学习的方法来增强自我聚合算法 (self-ensembling)，并以多标签分类的方式在胸部 X 光图像上进行了验证。结果表明，该方法的性能得到了改善，并且其分化的表征也更加具有解释性。

Jul, 2019

随机原型嵌入

通过一种概率方法所提出的基于监督的深度嵌入方法，可以将来自一个领域的输入映射到一个表征空间中，其中相同类别的实例彼此靠近，而不同类别的实例则相距很远。与现有的局限于确定性的方法不同，该方法假定了围绕类别原型的存在，采用正态分布来处理实例。同时，相对于噪声和超出分布范围的输入，该方法在小样本学习上的表现也更好，并通过各种方式提高了性能。

Sep, 2019

使用自监督学习能够提升模型的鲁棒性和不确定性

自我监督能够提高深度学习在鲁棒性、异常检测等难题上的表现甚至超越了全监督学习，成为未来自我监督学习研究的新方向。

Jun, 2019

稳定且因果推理用于区分自监督深度视觉表示

从因果关系的角度分析了有问题的自我监督方法，并提出了解决方案，通过在推理过程中应用线性变换来提高时间效率。

Aug, 2023