Jul, 2023

神经网络分布回归学习理论

PDF
TL;DR通过全连接神经网络 (FNN) 建立分布回归的逼近理论和学习理论，针对概率测度作为输入变量的分布回归问题，建立了一种创新的神经网络框架，实现了定义在 Borel 概率测度空间上的泛函逼近理论，并通过两阶段误差分解技术推导了几乎最优的学习速率。
approximation theorylearning theorydistribution regressionfully connected neural networkprobability measures
发现论文，激发创造
  • 分布回归学习理论

    本文研究了分布回归问题，提出了一种基于再生核希尔伯特空间的简单分析计算的岭回归方法，证明了该方法在两阶段抽样设置下是一致的，并且该估算器能够达到一阶段最小化最优速率。

    Nov, 2014

  • 深度神经网络的学习曲线：高斯场理论视角

    使用一种物理学方法对深度学习进行研究，通过重整化群、Feynman 图和副本构造了一个多功能场论形式体系用于分析高度超参数化情况下的深度学习，研究表明 DNNs 除了高度超参数化外，仍然具有解释性和预测性 —— 偏向于简单函数。

    Jun, 2019

  • 遥感应用中的非线性分布回归

    该论文介绍了一种解决分布回归问题的非线性方法，它考虑了再生核希尔伯特空间中的分布嵌入，并在其中执行标准的最小二乘回归。 该方法可用于不同维数和样本大小的多源数据，并通过随机傅里叶特征介绍了高效版本来处理数百万个数据点和组。

    Dec, 2020

  • 分布的两阶段样本学习理论

    该研究提出了一种简单有效的方法，将概率分布嵌入再应用岭回归 算法来解决分布回归问题，同时证明该方法的稳定性和收敛速度，回答了 15 年来未解决的开放性问题，并涵盖了一系列相关的概率分布问题。

    Feb, 2014

  • 分布式细化网络：通过深度学习进行分布式预测

    提出了一种 Distributional Refinement Network (DRN) 模型，结合了 Generalized Linear Models（GLMs）和 Deep Distribution Regression (DDR) 方法，能够灵活地捕捉特征在所有分位点上的不同影响，提高预测性能并保持充分解释性，展示了在保险科学等领域的潜力。

    Jun, 2024

  • 学习神经网络的特定分布困难度

    探讨对输入分布和目标函数的特定假设是否足以保证使用基于梯度的方法进行学习，在此基础上提供了一些工具来证明不同类别的目标函数的难以学习性和困难输入分布。

    Sep, 2016

  • 神经网络表达分布能力探究

    通过 Barron 定理，我们证明了一组满足某些 Fourier 条件的函数的组合可以通过一个多达 $n+1$ 层的神经网络来逼近，为深度神经网络的表达能力提供了解释。英文原文主要探讨了神经网络的一些基本性质以及其在生成模型领域的应用，建议阅读原文以获取更多细节。

    Feb, 2017

  • 张量神经网络在回归问题中的高效方法

    引入张量神经网络（TNN）来处理非参数回归问题，通过其独特的子网络结构，有效地促进变量分离，从而提高复杂未知函数的近似性；与传统的前馈网络（FFN）和径向基网络（RBN）相比，TNN 在近似准确性和泛化能力方面表现优异，尽管参数规模相似；我们的方法的一个关键创新是将统计回归和数值积分集成到 TNN 框架中，从而实现了与回归函数相关的高维积分的高效计算；此进展的意义扩展到更广泛的应用领域，特别是在需要精确高维数据分析和预测的场景。

    Jun, 2024

  • 深度神经网络在近似和估计中适应函数规律性和数据分布

    深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

    Jun, 2024

  • 深度学习的统计理论综述：逼近、训练动态和生成模型调查

    这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

    Jan, 2024