研究了深度置信网络在基准数据集上的训练中抽象表示如何出现。分析表明，使用越来越深的层次处理数据，能够检测和消除特征，并将越来越多的 ' 上下文无关 ' 信息传递给更深的层次。研究表明浅层可由成对的 Ising 模型描述，这些模型提供了一种用通用的低阶特征来表示数据的方式。结果还显示，可塑性随深度增加而增加，类似于大脑。这些发现表明深度置信网络能够从数据中提取与最大相关性原则一致的特征层次结构。

Jul, 2024

本文提出了一种新的基于深度置信网络的图像去噪方法，在 MNIST 数据集上的应用结果显示，该方法在去噪方面取得了显著的成果。

Dec, 2013

该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

Mar, 2017

本文研究表明，深度神经网络在语音识别任务中比浅层网络和高斯混合模型表现得更好，这是因为它们具有提取具有鲁棒性的区分性内部表示的能力。此外，我们表明 DNN 不能推广到与训练样本差异显著的测试样本，但是，如果训练数据足够代表性，DNN 的内部特征相对于说话人差异、带宽差异和环境失真是相对稳定的。这种稳定性使得基于 DNN 的识别器在不需要显式模型适应或特征归一化的情况下表现得和基于 GMMs 或浅层网络的现有系统一样好甚至更好。

Jan, 2013

通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。

Mar, 2024

在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。

May, 2024

本文旨在量化特征提取和泛化中深度与特征之间的对应关系，通过展示提取单一特征和复合特征的深度 - 参数权衡表明特征对深度的适应性和相反情况，并证明在深度网络上实现经典的经验风险最小化可实现多种学习任务的最优泛化性能，其理论结果通过一系列数字实验进行了验证。

Apr, 2020

通过使用卷积神经网络，我们在无监督学习的过程中提出了一种基于特征工程的模型，该模型能够自动地学习适用于无线传输聚类的特征表示方法。相对于基准的主成分分析（PCA），我们的模型自动学习由比基准少 99.3% 的组成部分组成的输入数据的降维表示，从而能够提取具有细粒度的无线传输突发形状的聚类，而基准模型只能基于背景噪声进行数据的一般可分性。

Aug, 2023

本文综述了数据表示学习方法的发展历程，探讨了传统特征学习算法和深度学习模型。提供了有关数据表示学习的历史，可用资源（例如在线课程，教程和书籍信息）和工具箱。最后，对数据表示学习的一些有趣的研究方向进行了总结。

Nov, 2016

本文针对离散情况，引入新的卷积神经网络结构，并为其分析提出了数学框架，具体包括局部和全局的变形与平移敏感结果，以及研究输入信号的某些结构性质在相应特征向量中的反映，理论适用于一般的滤波器和 Lipschitz 连续的非线性和池化运算符，并通过手写数字分类和面部关键点检测的实验结果对理论研究进行了补充。

May, 2016