使用嵌套丢弃法学习有序表示
提出了一种利用压缩实现数据表示的算法，可以精确计算模型的可能性，并可直接使用算术编码进行压缩。在卷积神经网络和降噪自编码器中，该算法可以学习类似于卷积核的过滤器，与随机像素排序方法相比，该算法具有较好的压缩性能。
Aug, 2011
研究探讨了Nested Dropout在通过反向传播训练的卷积神经网络中的应用，以确定与所需精度和所需任务和数据复杂度相对应的最佳表示大小。
Dec, 2014
在深度学习中添加一种正则化项，即注入信息失真噪声，可以更好地强制执行最优表示的关键属性。信息dropout是对dropout的一种改进，可以更好地适应数据和网络结构，同时可以生成区分度良好的表示。
Nov, 2016
本文探讨神经网络剪枝问题，在对历史文献进行回顾及常见假设进行分析后，提出了一种新型的神经元全剪枝方法，得出存在许多基于剪枝算法的固有缺陷及为减少计算复杂性而做出的权衡。另外，还发现剪去40-70%的神经元实际上对学习表示形式并没有太大的影响。
Jan, 2017
提出了一种基于正则化函数的方法，学习高维稀疏表示，以在视觉检索中提高效率，其表现与其他基线方法相竞争，且在实际数据集中具有类似或更好的速度精度平衡。
Apr, 2020
本研究针对标签噪声干扰下的图片分类模型，通过对Nested Dropout方法的再探索，发现这种方法可以对神经网络进行适当的矫正和压缩，进而应对标签噪声干扰，最终在两个现实世界数据集Clothing1M和ANIMAL-10N上取得与DivideMix和PLC相当或更好的性能结果，成为标签噪声干扰下学习的一个强大的基准模型。
Apr, 2021
该研究提出了一种无监督、可并行学习的语言模型生成算法，使用置换矩阵表示自回归顺序，并通过多步生成式注意力将其作为目标顺序进行训练，并在语言建模任务中获得了有竞争力或者优秀的表现。
Oct, 2021
本文提出了信息有序瓶颈（IOB）的概念，它是一种神经层，旨在将数据自适应地压缩为按可能性排序的潜变量，实现了接近最优的压缩，并能够以语义上有意义的方式对潜在信号进行有序。此外，我们介绍了一个有关使用IOBs估计全局内在维数的新颖理论，并通过在异构数据集上的应用，展示了这些模型在探索性分析方面的实用性，使得计算机辅助数据集复杂性发现成为可能。
May, 2023
我们提出了一种名为解密自编码器的生成模型。在这个模型中，我们为训练数据集中的每个数据点分配一个唯一的随机丢失模式，然后训练一个自编码器来使用该模式作为编码信息来重构相应的数据点。尽管解密自编码器的训练仅依赖于重构误差，但其训练比其他生成模型更稳定。在CIFAR-10数据集上，解密自编码器的采样质量与DCGAN相当。
Oct, 2023