学习到的特征表示受到复杂性、学习顺序、位置等的偏差影响

May, 2024

学习到的特征表示受到复杂性、学习顺序、位置等的偏差影响

Learned feature representations are biased by complexity, learning order, position, and more

Andrew Kyle Lampinen, Stephanie C. Y. Chan, Katherine Hermann

TL;DR在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。

Abstract

representation learning, and interpreting learned representations, are key areas of focus in machine learning and neuroscience. Both fields generally use representations as a means to understand or improve a system's computations. In this work, however, we explore surprising dissociati

representation learning interpretation of learned representations dissociations between representation and computation inductive biases of gradient-based representation learning computationally important aspects of a system's internal representations

发现论文，激发创造

什么塑造了特征表示？探索数据集、体系结构和训练

研究自然学习问题中的特征选择，发现训练后任务相关的特征增强，任务无关的特征部分抑制，容易的特征对模型具有更大的一致性和代表性，并且对未经训练的模型具有更大的相似性。

Jun, 2020

表示学习：综述与新视角

本文回顾了无监督特征学习和深度学习领域中的最新进展，讨论了学习良好的数据表示的适当目标，以及表示学习、密度估计和流形学习之间的几何联系。

Jun, 2012

深度表示学习：基础，视角，应用和开放挑战

本研究论述了机器学习算法在学习过程中的表示问题及应用，并就深度学习模型、框架和关键问题等进行了探讨和分析。

Nov, 2022

数据表示学习综述：从传统特征学习到最近的深度学习

本文综述了数据表示学习方法的发展历程，探讨了传统特征学习算法和深度学习模型。提供了有关数据表示学习的历史，可用资源（例如在线课程，教程和书籍信息）和工具箱。最后，对数据表示学习的一些有趣的研究方向进行了总结。

Nov, 2016

深度学习中的表征复杂度

通过分析学习表示在分离不同类别方面的有效性，使用简单的复杂度指标，研究表明数据复杂度随着网络层数增加和训练的进展而变化，受网络设计和训练样本的影响

Sep, 2022

通过逐层特征压缩和差异化理解深度表示学习

通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

Nov, 2023

分层稳健表示学习

本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 example-level 与 concept-level 稳健性，并将问题公式化为带有 Wasserstein 模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。

Nov, 2019

发现和解释深度神经网络中的表示瓶颈

本文研究了深度神经网络的特征表示瓶颈，从输入变量在 DNN 中编码的交互复杂性的角度进行探讨，发现 DNN 更可能编码过于简单和过于复杂的交互，并且通常无法学习中等复杂度的交互。该现象被称为特征表示瓶颈，本文从理论上证明了其根本原因，并提出了一种损失函数来促进或惩罚特定复杂度的交互的学习，并分析了不同复杂度交互的表示能力。

Nov, 2021

深度特征空间：几何视角

本文提出了一种新的方法，用于可视化和理解神经网络输出层之前的向量空间，旨在揭示分类任务下的深层特征向量属性，特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响，并对其进行了真实应用场景的评估，证明了其突出性能优势。

Jun, 2020

卷积网络特征提取行为研究

该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

Mar, 2017