深度学习中的表征复杂度
研究使用新的神经网络架构和错误函数在图像分类任务中改进分类器准确性的影响,提出了优先采用在隐层中数据表征更具线性可分性的训练方法,通过实验证明该方法可行。
Jun, 2023
本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势,并阐述了与浅学习者,如卷积内核的神经表现的关系。通过学习低秩的多项式,中间神经表现可以实现比原始输入更少的样本复杂度,并且在神经可切内核的情况下,本文还提出了神经表现不利的限制。
Jun, 2020
在这项工作中,我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域,并发现了表示与计算之间一些令人惊讶的脱节现象,这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色,并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征,并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚,这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差,同时突出了理解性或对比模型和大脑之间表示的关键挑战,即区分系统内部表示的外部偏差和计算上重要的方面。
May, 2024
本研究采用基于个例角度的视角,引入了计算预测输入的困难程度的度量 -(有效的)预测深度,发现了一些有意为之而意外的、简单的关系,进一步将困难例子分为三个可解释的组,并展示了这种理解如何提高了预测准确率,揭示了文献中一些分开探讨的现象的连贯视图。
Jun, 2021
本文研究深度神经网络(DNN)在有监督图像分类中的表现,发现其学习到的数据表示可以分为两个不同的部分 —— 线性可分的表示和称为 “隧道” 的子网络的压缩表示,并探讨了隧道行为和其对持续学习的影响。
May, 2023
通过研究深度学习模型的架构和数据内在结构之间的关系,本文探讨了深度学习的理论基础,并通过实验和物理启发式玩具模型的结合,揭示了它们的内在工作原理,旨在填补理论与实践之间的鸿沟。
Oct, 2023
使用深度神经网络进行物体分类,可以占人类相似性判断的重要部分,但不能捕捉到人类表现中的一些关键性质。我们开发了一种方法,将深层特征与人类相似性判断对齐,以获取可用于扩展心理实验范围的图像表示。
Aug, 2016