本文提出了一种基于层次信息分解的无监督学习表示法，针对离散变量的具体实现应用于多个基础任务，包括独立成分分析、有损和无损压缩以及数据中缺失值的预测。

Jul, 2015

提出了一种基于infomax原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。

Nov, 2016

本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。

Apr, 2018

通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

Aug, 2018

本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

May, 2019

本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了example-level与concept-level稳健性，并将问题公式化为带有Wasserstein模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。

Nov, 2019

本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势，并阐述了与浅学习者，如卷积内核的神经表现的关系。通过学习低秩的多项式，中间神经表现可以实现比原始输入更少的样本复杂度，并且在神经可切内核的情况下，本文还提出了神经表现不利的限制。

Jun, 2020

本文探讨了使用深度卷积神经网络训练高维数据的难点，回答了在随机分层模型中学习所需的训练数据量成长与类别数、高级特征组成式的幂、重复次数成多项式关系的问题，并给出了相应的估算方法。

Jul, 2023

通过引入数据的稀疏性到生成式分层模型中，我们展示了学习到的抽象表达和空间变换的不变性之间的强相关性，并解释了卷积神经网络在 Sparse Random Hierarchy Model(SRHM) 中的样本复杂性如何依赖于任务的稀疏性和分层结构。

Apr, 2024

研究了深度置信网络在基准数据集上的训练中抽象表示如何出现。分析表明，使用越来越深的层次处理数据，能够检测和消除特征，并将越来越多的'上下文无关'信息传递给更深的层次。研究表明浅层可由成对的Ising模型描述，这些模型提供了一种用通用的低阶特征来表示数据的方式。结果还显示，可塑性随深度增加而增加，类似于大脑。这些发现表明深度置信网络能够从数据中提取与最大相关性原则一致的特征层次结构。

Jul, 2024