深度学习的数学导引:方法、实现和理论
我们描述了深度学习数学分析的新领域,涉及到超参数神经网络的普适性,深度对于网络的作用,感知问题的缺失,问题优化性能的成功和架构的各个方面对学习任务的影响,并提供了现代方法的概述和详细的主要思想。
May, 2021
这篇研究论文是一门名为《神经网络导论》的课程的讲义,旨在向研究生数学学生介绍神经网络,并使他们对进一步研究神经网络感兴趣。该课程分为两部分:第一部分是关于深度学习的总体介绍,以形式化数学的方式引入该领域;第二部分介绍李群和齐次空间的理论,并说明如何将其应用于设计具有良好几何等变性的神经网络。讲义力求自包含,适合具备适度数学基础的学生。课程还包括使用 Jupyter 笔记本的编程教程和作业,具体内容可在提供的链接中公开获取。
Mar, 2024
本文对深度神经网络用于偏微分方程 (PDEs) 求解的现状和潜在应用进行了综述,分析和分类了相关方法在科学研究和工程场景中的应用,介绍了这一领域的来源、历史、特点、类型以及未来趋势。
Oct, 2022
本篇论文介绍了深度学习在计算物理学中的应用,结合了线性代数和偏微分方程等数学概念,利用计算物理学的技术和算法,开发了多种深度学习算法,为模拟物理现象的建模提供了辅助工具。
Jan, 2023
这篇文章介绍了关于神经网络的统计理论,从三个角度进行了综述:非参数回归或分类中关于神经网络过度风险的结果,神经网络的训练动力学以及生成模型中的最新理论进展。
Jan, 2024
通过将神经网络定位为具有固定点表示所需解的算子,我们以数值分析为基础,建立了一个以迭代方法为基础的理论框架,以理论证明为基础,我们演示了流行的架构,如扩散模型和 AlphaFold,本质上使用了迭代算子学习,经验评估表明通过网络算子进行迭代可以提高性能。我们还介绍了一个迭代图神经网络 PIGN,进一步展示了迭代的好处。我们的工作旨在通过融合数值分析的洞察力,从而提升深度学习的理解,潜在地指导设计具有更清晰理论基础和改进性能的未来网络。
Oct, 2023
本文综述了近年来人工神经网络和机器学习领域所取得的进展和对于成功和微妙性的理解,通过数值实验和简化模型的分析,以及严谨的数学结果,讨论对于这个快速发展领域最重要的开放性问题。
Sep, 2020