神经网络机器学习数学理解的探究：已知与未知

Sep, 2020

神经网络机器学习数学理解的探究：已知与未知

Towards a Mathematical Understanding of Neural Network-Based Machine Learning: what we know and what we don't

Weinan E, Chao Ma, Stephan Wojtowytsch, Lei Wu

TL;DR本文综述了近年来人工神经网络和机器学习领域所取得的进展和对于成功和微妙性的理解，通过数值实验和简化模型的分析，以及严谨的数学结果，讨论对于这个快速发展领域最重要的开放性问题。

Abstract

The purpose of this article is to review the achievements made in the last few years towards the understanding of the reasons behind the success and subtleties of neural network-based machine learning. In the tradition of good old applied mathematics, we will not only give attention to

neural networks machine learning mathematical analysis numerical experiments open problems

发现论文，激发创造

深度学习的现代数学

我们描述了深度学习数学分析的新领域，涉及到超参数神经网络的普适性，深度对于网络的作用，感知问题的缺失，问题优化性能的成功和架构的各个方面对学习任务的影响，并提供了现代方法的概述和详细的主要思想。

May, 2021

机器学习和信息论概念对人工智能数学家的贡献

当前人工智能的最新技术在语言方面非常出色，但在数学推理方面则相对不足。本文以数学家的思维方式为参考，建立在当前深度学习在直觉和习惯性行为等方面取得成功的基础上，指出其在推理和稳健性不确定性估计等方面仍存在重要缺陷。文中以信息论的观点探讨了什么样的数学陈述是有趣的，这可能为塑造高级数学家人工智能的未来工作提供指导。重点不是证明给定的定理，而是发现新奇的猜想。核心假设是，一个有用的定理组应更好地总结所有可证陈述的集合，例如通过具有较小的描述长度，同时在推导步骤的数量上接近许多可证陈述。

Mar, 2024

神经网络的生理机制可解释性

比较神经网络和生物电路之间的相似和不同，研究探讨了从生物学的行为和可理解的理由中深入了解神经网络从数据中学习的见解。

Mar, 2022

人工神经网络可解释性调研

该论文系统地回顾了近期研究的理解神经网络机理、解释深度学习应用特别是在医疗领域方面以及讨论了解释性研究的未来方向，如与模糊逻辑和脑科学的关系。

Jan, 2020

神经网络能做算术吗？对当今深度学习模型基本数学技能的调查

本文回顾了近年来关于深度学习在数学领域的研究，认为当前即使是最先进的深度学习模型在面对简单的数学和算术任务时也表现出较大局限性。

Mar, 2023

深度学习数学

本文综述了近期深度神经网络在识别系统方面表现出的很高的性能，以及为数不多的数学解释其成功的理由，如全局最优性、几何稳定性和表示学习的不变性。