无监督深度学习的群论视角

ICLRApr, 2015

A Group Theoretic Perspective on Unsupervised Deep Learning

Arnab Paul, Suresh Venkatasubramanian

TL;DR通过群论的视角，研究了深度学习中的表示问题，发现预训练实际上是在寻找具有最小轨道的特征，从而解释了为什么深度学习网络会先学习一些简单的特征，并阐述了为什么随着层数的增加，表示的复杂度逐渐增高。

Abstract

Why does deep learning work? What representations does it capture? How do higher-order representations emerge? We study these questions from the perspective of →

deep learning group theory pretraining shadow groups higher-order representations

发现论文，激发创造

深度学习理论原理

本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

Jun, 2021

几何深度学习：网格、群、图、测地线和规范

通过统一的几何原理，深度学习可以更好地揭示基本规律，提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络，且可以将物理学知识结合到神经网络结构中，从而提供了未来神经网络结构的原则性方法。

Apr, 2021

走向生物学可行的深度学习

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015

关于学习结构化表示的泛化

本文旨在研究用结构性表示学习的方法，具体分为解缠结表示与面向对象表示两个方向，以实现从非结构化数据中提取潜在结构信息的目的，同时还探讨了该方法对预训练表示和下游任务泛化能力的提升以及其对于大规模数据的高效表征学习的应用。

Apr, 2023

表示学习：综述与新视角

本文回顾了无监督特征学习和深度学习领域中的最新进展，讨论了学习良好的数据表示的适当目标，以及表示学习、密度估计和流形学习之间的几何联系。

Jun, 2012

表示学习的深度学习：展望未来

本文主要探讨深度学习面临的挑战，包括大规模模型与数据集的扩展、优化难点、设计高效的推断与抽样过程，以及学习分离数据中的因素变化等，并提出相应的研究方向。

May, 2013

探索层次化学习：神经表征的好处

本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势，并阐述了与浅学习者，如卷积内核的神经表现的关系。通过学习低秩的多项式，中间神经表现可以实现比原始输入更少的样本复杂度，并且在神经可切内核的情况下，本文还提出了神经表现不利的限制。

Jun, 2020

深度神经网络的学习曲线：高斯场理论视角

使用一种物理学方法对深度学习进行研究，通过重整化群、Feynman 图和副本构造了一个多功能场论形式体系用于分析高度超参数化情况下的深度学习，研究表明 DNNs 除了高度超参数化外，仍然具有解释性和预测性 —— 偏向于简单函数。

Jun, 2019

深度学习和廉价学习为什么如此有效？

本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

Aug, 2016

深度学习的统计理论综述：逼近、训练动态和生成模型调查

这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

Jan, 2024