Oct, 2023

晶格算子机器学习的超参数化范式

PDF
TL;DR通过过参数化 lattic 中的元素，我们提出了一种学习模式，并应用了一种在 lattic 中最小化函数的算法，该算法是针对约束类操作符的通用算法，解决了现代神经网络方法缺乏的控制性、透明性和可解释性。
machine learninglattice operatorslearning paradigmstochastic lattice gradient descent algorithmmathematical morphology
发现论文，激发创造
  • 利普希茨算子的运算学习：信息论视角

    基于神经算子的算子学习已成为一种有前景的通过数据驱动的方法，在无限维巴拿赫空间中进行算子近似。本研究针对利普希茨连续算子的神经算子近似的参数复杂性进行了探索，从信息论的角度建立了利普希茨算子的度量熵的下界，并指出神经算子架构的大小在达到近似精度 ε 时必须是指数级的。这项研究的结果阐明了基本的权衡和限制。

    Jun, 2024

  • 操作员学习：算法与分析

    通过对机器学习理念在函数巴拿赫空间之间进行映射的（通常是非线性）算子的应用，可以构建近似算子，这些算子通常源于用偏微分方程（PDEs）表达的物理模型。近似算子在许多查询任务中具有巨大的潜力，作为传统数值方法的高效代理模型。由于数据驱动，当无法提供基于 PDE 的数学描述时，它们还可以进行模型发现。本综述主要关注神经算子，其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看，神经算子在各种应用中都显示出了成功，但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识，着重从逼近理论的角度来看。

    Feb, 2024

  • 量子神经网络过参数化理论

    量子神经网络中的超参数化现象会影响其参数数量与损失函数空间的精细度，我们证明了由 QNN 的生成器获取的李代数维度是超参数化的界限，当 M≥M_c 时，QNN 的训练效果大大提高，相关结果也适用于变分量子算法和量子优化控制。

    Sep, 2021

  • 构建数学结构以实现学习优化

    本文提出了一种基于数学原理的 L2O 模型，通过数值模拟验证了该模型的理论发现并展示了其超越普通 L2O 模型的优越性。

    May, 2023

  • 统计学习和估计的在线与分布式算法的基本极限

    本文探讨了机器学习中的信息约束，包括内存、通信、数据部分读取等约束对算法性能的影响，并得出针对不同情形，在特定限制下，算法表现将不如无限制情形的结论。

    Nov, 2013

  • 从超参数化机器学习理论的角度看偏差 - 方差折中问题的再思考

    本文概述了 “过参数化机器学习” 的新理论，通过统计信号处理的角度解释最近研究发现的相应现象和结果，着重强调了这个研究领域的独特性和开放的问题。

    Sep, 2021

  • 浅入深出：对大规模浅层学习的计算视角

    本文研究了梯度下降算法在光滑内核中的应用限制，提出了基于特征向量预处理的 EigenPro 迭代优化算法，通过注入小规模二阶信息以改善此限制，从而实现更好的收敛性能。

    Mar, 2017

  • 运算符学习中的维数诅咒

    论文证明了对于 $C^r$- 或 Lipschitz - 正则性唯一确定的一般类算子而言，算子学习存在维度灾难，但是解决 Hamilton-Jacobi 方程定义的解算子的一般维度灾难问题时可以利用底层解算子的附加结构，引入了一种新的神经算子结构 HJ-Net，该结构明确考虑了底层哈密顿系统的特征信息，从而可以打破无限维输入和输出函数空间相关的维度诅咒。

    Jun, 2023

  • 对称流基概率采样在格点规范理论中的应用

    通过机器学习流模型抽样算法实现格点规范场理论，在二维 U (1) 规范理论中的应用表明该方法在采样拓扑量方面比混合 Monte Carlo 和热浴等传统采样方法高效数倍。

    Mar, 2020

  • 过度参数的浅层神经网络优化空间的理论洞见

    研究浅层神经网络在过参数化情况下，如何使用二次激活函数进行训练并找到全局最优解，结果表明此方法适用于具有任意输入 / 输出对的任何训练数据，并可使用各种本地搜索启发式方法高效地找到全局最优解。同时，对於差分激活函数，我们也证明了梯度下降法在得到合适的初值后可以以线性速度收敛到全局最优解，它的输入来自符合高斯分布的选定属性且标记是通过种植的重量系数生成的。

    Jul, 2017