深度学习数学

Dec, 2017

Mathematics of Deep Learning

Rene Vidal, Joan Bruna, Raja Giryes, Stefano Soatto

TL;DR本文综述了近期深度神经网络在识别系统方面表现出的很高的性能，以及为数不多的数学解释其成功的理由，如全局最优性、几何稳定性和表示学习的不变性。

Abstract

Recently there has been a dramatic increase in the performance of recognition systems due to the introduction of deep architectures for representation learning and classification. However, the mathematical reasons for this success remain elusive. This tutorial will review recent work t

recognition systems deep architectures representation learning mathematical justification learned representations

发现论文，激发创造

深度学习的现代数学

我们描述了深度学习数学分析的新领域，涉及到超参数神经网络的普适性，深度对于网络的作用，感知问题的缺失，问题优化性能的成功和架构的各个方面对学习任务的影响，并提供了现代方法的概述和详细的主要思想。

May, 2021

深度学习的几何理解

该研究通过几何视角揭示深度学习的关键在于学习数据的流形结构和概率分布，并提出一种控制潜在空间中概率分布的最优质量传递理论。

May, 2018

深度学习和廉价学习为什么如此有效？

本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

Aug, 2016

深度学习在人工智能中的非凡有效性

深度学习网络在语音识别、图像描述和语言翻译等方面的高性能表现是由于它们利用高维空间的几何特性，然而它们究竟能否推广到实现全面的人工智能，以及和大脑规划和生存相关的其他区域的灵感还需做出重大突破。

Feb, 2020

深度学习和几何深度学习：数学家和物理学家的介绍

本文是介绍深度学习、几何深度学习和图神经网络的简要论文，重点介绍了评分函数和损失函数这些算法的关键成分，以及模型训练的主要步骤。

May, 2023

几何深度学习：网格、群、图、测地线和规范

通过统一的几何原理，深度学习可以更好地揭示基本规律，提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络，且可以将物理学知识结合到神经网络结构中，从而提供了未来神经网络结构的原则性方法。

Apr, 2021

深度学习在数学推理中的应用概述

本文综述了过去十年在数学推理和深度学习交叉领域中的关键任务、数据集和方法，评估了现有的基准测试和方法，并讨论了该领域的未来研究方向。

Dec, 2022

深度学习系统作为复杂网络

该文章使用复杂网络中常用的技术研究了深度置信网络，以期获得从学习过程中得到的计算图的结构和功能特性的一些见解。

Sep, 2018

神经网络能做算术吗？对当今深度学习模型基本数学技能的调查

本文回顾了近年来关于深度学习在数学领域的研究，认为当前即使是最先进的深度学习模型在面对简单的数学和算术任务时也表现出较大局限性。

Mar, 2023

深度神经网络的稳定结构

本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

May, 2017