本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

May, 2019

提出了一种基于 infomax 原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。

Nov, 2016

本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势，并阐述了与浅学习者，如卷积内核的神经表现的关系。通过学习低秩的多项式，中间神经表现可以实现比原始输入更少的样本复杂度，并且在神经可切内核的情况下，本文还提出了神经表现不利的限制。

Jun, 2020

通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

Aug, 2018

本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。

Apr, 2018

研究了深度置信网络在基准数据集上的训练中抽象表示如何出现。分析表明，使用越来越深的层次处理数据，能够检测和消除特征，并将越来越多的 ' 上下文无关 ' 信息传递给更深的层次。研究表明浅层可由成对的 Ising 模型描述，这些模型提供了一种用通用的低阶特征来表示数据的方式。结果还显示，可塑性随深度增加而增加，类似于大脑。这些发现表明深度置信网络能够从数据中提取与最大相关性原则一致的特征层次结构。

Jul, 2024

提出一种将生成式无监督特征学习与概率上的三元组信息处理相结合的方法，将隐式的 oracle 知识转移为显式的非线性贝叶斯潜在因子模型，并证明该方法在学习表示方面优于以前的度量学习方法和没有此类副信息的生成模型。

Jun, 2015

通过在 HierNet 数据集上进行广泛评估，我们得出结论，分层可视化表示并不比标准表示更好地捕捉层次关系，但在搜索效率和可解释性等方面有所帮助。

Nov, 2023

研究了利用较小交互的分层模型边缘表示其他分层模型的方法，并在二元变量和成对交互模型的边缘中着重研究了相互条件独立的隐藏变量。结果表明，每个隐藏变量可以自由地模拟可见变量之间的多个相互作用，可以将在比以前更少数量的隐藏变量的限制玻尔兹曼机中达到接近最佳结果的分布近似方法与使用前馈神经网络的软加计算单元的多项式的线性子空间的表示进行等价处理。

Aug, 2015

我们提出了一种基于无监督自动学习的方法，可以学习出具有小样本复杂度的好的表示方法，在视觉对象识别等领域可以得到应用。通过无监督学习期间存储的一组模板，可以对每个图像块计算一种不变而又唯一的（有区分性的）签名，从而从很少的有标记例子中学习图像识别。

Nov, 2013