从信息论的角度出发，了解自监督语音表示学习的现有方法，通过使用互信息来开发度量方法，从而帮助模型设计和选择，并通过线性探测来评估表示的可访问性，展示模型在层次线性探测和语音识别上的性能。

Jan, 2024

自监督表示、线性探测、信息论、互信息、线性可分表示

Dec, 2023

本文研究了 6 种最先进的自监督学习模型的表示空间，发现了对应于图像中独特物理属性的高活性功能，并提出了用于预测样本是否可能被错误分类的自监督表示质量得分（或 Q-Score）和用于改善低质量表示的正则化项。在多个基准数据集上进行的试验表明，使用 Q-Score 正则化可以提高模型的性能，我们还定义了一种指标来量化表示的可解释性。

Mar, 2022

提出了 “自我监督产品量化（SPQ）” 网络，它是一个无需标签、自我监督的深度学习图像检索方法，通过比较转换后的图像（视图）来学习深度视觉描述符和码字，分析图像的内容提取其描述性特征，实现准确的图像检索，实验表明在基准测试中得到了业内领先的结果，即使在没有有监督预训练的情况下。

Sep, 2021

研究了评估深度神经网络自监督学习中表示质量的多种方法，包括信息嵌入量、线性可分性等，通过实验结果发现了可以无监督评估嵌入质量的方法。

May, 2023

本文提出了使用线性探测任务评估强化学习中视觉预训练算法效果的方法，通过与实际下游控制表现的相关性进行实验，优化了现有自监督学习配方的方法，突出了前向模型、视觉主干大小和无监督目标的重要性。

Aug, 2022

无监督表示学习、卷积自组织神经网络、评估协议、表示传输、图像到图像转换

Nov, 2023

通过评估人类注释者作为分类器，本研究提出了视觉可学性和可描述性两个概念，用于量化任意图像分组（包括无监督分组）的可解释性，并提出了一种类别级别的字幕生成系统来自动生成对视觉分组的描述，并使用可描述性度量将其与人类注释者进行比较。

Oct, 2020

自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空间，从而导致性能下降。此外，我们的发现表明，在损失空间引入额外的瓶颈可以显著增强检测超出分布示例的能力，只利用表示特征或其潜在分布的方差。

Oct, 2023

本文研究了自监督学习（SSL）模型的表征质量，并提出了一种将表现力和可学习性作为评估依据的方法。 作者将内在维度（ID）用于评估表现力并引入了聚类可学习性（CL）来评估可学习性。作者发现，将 CL 和 ID 组合成单个预测器（CLID）比其他竞争的最近的评估方案更能与分布内模型的表现力相关联，并在多个分类任务上取得了显着的性能提升。

Jun, 2022