数据表示学习综述：从传统特征学习到最近的深度学习

Nov, 2016

数据表示学习综述：从传统特征学习到最近的深度学习

An Overview on Data Representation Learning: From Traditional Feature Learning to Recent Deep Learning

Guoqiang Zhong, Li-Na Wang, Junyu Dong

TL;DR本文综述了数据表示学习方法的发展历程，探讨了传统特征学习算法和深度学习模型。提供了有关数据表示学习的历史，可用资源（例如在线课程，教程和书籍信息）和工具箱。最后，对数据表示学习的一些有趣的研究方向进行了总结。

Abstract

Since about 100 years ago, to learn the intrinsic structure of data, many representation learning approaches have been proposed, including both linear ones and nonlinear ones, supervised ones and unsupervised ones. Particularly, deep architectures are widely applied for representation learning in recent years, and have delivered top results in many tasks, su

data representation learning deep learning feature learning unsupervised learning supervised learning

发现论文，激发创造

表示学习：综述与新视角

本文回顾了无监督特征学习和深度学习领域中的最新进展，讨论了学习良好的数据表示的适当目标，以及表示学习、密度估计和流形学习之间的几何联系。

Jun, 2012

深度表示学习：基础，视角，应用和开放挑战

本研究论述了机器学习算法在学习过程中的表示问题及应用，并就深度学习模型、框架和关键问题等进行了探讨和分析。

Nov, 2022

深度图表示学习的综合调查

本篇综述了目前深度图表示学习算法的最新研究进展，提出了现有技术的新分类法，并探讨了深度图表示学习的实际应用、前景及挑战方向。

Apr, 2023

演讲处理中的深度表示学习：挑战、最新进展和未来趋势

本文介绍了语音表征学习的不同技术的最新综述，将分散的研究汇集到了自动语音识别、说话人识别和说话人情感识别三个研究领域中，并弥补了以前综述中没有涉及语音表征学习的空白。

Jan, 2020

表示学习的实证评估和理论分析：调查

调查了代表目前学习的评估方法及其理论分析，提出了未来学习的方向。

Apr, 2022

表示学习的深度学习：展望未来

本文主要探讨深度学习面临的挑战，包括大规模模型与数据集的扩展、优化难点、设计高效的推断与抽样过程，以及学习分离数据中的因素变化等，并提出相应的研究方向。

May, 2013

图表示学习：调查

通过解释图嵌入任务及其挑战、回顾广泛的图嵌入技术、评估多种先进方法并比较它们的性能，本文综述了图表示学习的最新研究进展，同时探讨了其在潜在应用和未来发展方向的应用与发展。

Sep, 2019

关于学习结构化表示的泛化

本文旨在研究用结构性表示学习的方法，具体分为解缠结表示与面向对象表示两个方向，以实现从非结构化数据中提取潜在结构信息的目的，同时还探讨了该方法对预训练表示和下游任务泛化能力的提升以及其对于大规模数据的高效表征学习的应用。

Apr, 2023

深度视频表示学习综述

该论文提供了对视频表示学习的综述，对于顺序视觉数据的时空特征学习方法进行分类，并比较它们在视频分析中的优缺点。

May, 2024

学习到的特征表示受到复杂性、学习顺序、位置等的偏差影响

在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。

May, 2024