自我监督学习通过最大化两个视图的嵌入间的一致性和嵌入分布的差分熵，提出了多视图熵瓶颈方法（MVEB）来有效地学习最小的充分表示。实验证实，MVEB 显著提高了性能，在使用 ResNet-50 骨干网络进行线性评估时，ImageNet 的 top-1 准确率达到了 76.9％，是迄今为止的最新成果。

Mar, 2024

提出使用 $ ext {MCR}^2$ 最大编码率减少原则来学习区分类别的内在低维结构，可以在有监督学习、自监督学习和无监督学习中以统一的方式学习内在表示，并可产生更鲁棒的标签噪声分类结果。

Jun, 2020

本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

Sep, 2022

本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

Feb, 2021

提出了一种基于 Minimax Entropy 的半监督域自适应方法，在有限的标记信息下，与其他基线方法相比，提高了无标记目标数据分类的准确性。

Apr, 2019

本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

Jul, 2018

使用默认分布和一组测试数据，本文探讨了是否可能由 P 生成 x^M。为离散分布问题，Kolmogorov-Martin-Löf 随机性提供了明确答案。我们试图将这个概念推广到连续分布，并考虑了一组统计量 T_1 (x^M),T_2 (x^M),...。我们将每个统计量与其最大熵分布以及相应的通用源编码器关联起来，然后将最大熵分布组合以得到总码长，并与 - logP (x^M) 进行比较。我们展示了这种方法满足一些理论性质。对于真实世界的数据，通常 P 是未知的。我们使用双向生成网络将数据转换为潜在空间中的标准分布，并在那里使用最大熵编码。我们将所得方法与其他使用生成型神经网络检测异常值的方法进行了比较，在大多数情况下，我们的结果表现更好。

Apr, 2024

本文旨在探讨最小误差熵准则 (MEE) 在非高斯噪声情况下的鲁棒性，并将其运用在实际的迁移学习回归任务中，结果表明仅通过将 MSE 损失替换为 MEE，我们就能够在 fine-tuning 和线性探测等基本的迁移学习算法上取得与最先进的算法竞争性的表现。

Jul, 2023

这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

Aug, 2020

本论文提出一种改进的自监督学习方法，其中单个神经编码器由多个工作人员共同解决不同的自监督任务，该方法可学习传输、强健和面向问题的特征，这些特征中包含了从语音信号中提取的相关信息，如讲话者身份、音素和情感线索。

Apr, 2019