信息筛选器
本文提出一种分解的分层变分自动编码器，能够在无监督的情况下从序列数据中学习分离和可解释的表征。该模型基于多尺度信息的分层结构，实现了针对不同潜变量集合的序列依赖先验和序列无关先验。通过在两个语音语料库上的实验，表明该模型能够通过操纵不同的潜变量集合来转换说话人或语言内容，并在说话人验证和自动语音识别任务中优于基线模型。
Sep, 2017
本文提出了一种可扩展的方法，通过信息筛分解和简单的迭代过程，解决 Wyner 公共信息问题。该方法在高维度学习问题上比标准方法表现更好，并成功地恢复了大脑成像数据中的结构。
Jun, 2016
本文针对非线性独立成分分析的负面结果，试图研究在没有条件独立性的辅助信息下如何实现解缠以及如何减少需要的辅助信息量。在一类模型中，我们证明理论上和实验上都可以实现解缠，即使辅助信息的维度远小于真实潜在表示的维度。
Apr, 2022
本文提出了一种新的框架来学习具有所需结构属性的多元数据的可控和通用表示，该模型利用图模型中的掩码变量表示归纳偏置，并扩展多元信息瓶颈理论来强制执行结构依赖性，从而提供原则性方法来学习一组语义上有意义的潜在因素，其反映了各种类型的期望结构，如捕获相关性或编码不变性。同时还提供了自动估计数据中依赖关系的灵活性，该框架统一了许多现有的生成模型，并可应用于各种任务，包括多模态数据建模、算法公平性和不变风险最小化。
Jul, 2020
本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。
May, 2019
提出了一种基于 infomax 原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。
Nov, 2016
本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。
Apr, 2018