本文研究神经网络的理论解释，针对单个隐藏层、平滑激活函数和良好输入分布条件下生成的数据可否进行有效学习，证明了对于广泛的激活函数和任何对数凹分布的输入，存在一类单隐藏层函数，其输出为和门，难以以任何精度有效地学习，这一下界对权重的微小扰动具有鲁棒性，且通过实验验证了训练误差的相变现象。

Jul, 2017

针对模型类如何拟合标记数据的问题，我们提出了一种计算学习能力的方法，可以使用较小的数据量得出精确结果。该方法也适用于二元分类问题，并在多种真实和合成数据集上得到了验证。

May, 2018

本文研究基于SGD算法在均场方案下训练的二层神经网络，探讨神经网络如何处理高维数据并适应低维潜在结构的问题，提出了“合并阶梯”属性是这种学习方式的必要条件，同时证明了线性方法无法高效地学习这种类别的函数。

Feb, 2022

对比学习是一种学习数据表示的高效技术，研究文章主要关注对比学习的样本复杂度、维度表示和泛化准确性，并通过给出相关问题的Vapnik-Chervonenkis/Natarajan维度的界限来证明其在整数p的情况下所需的标记样本数量的几乎最优复杂度。

Dec, 2023

近期的学习研究显示，学习问题的可学习性可能是不可判定的，或者与标准集合论的ZFC公理无关。此外，这些问题的可学习性可能不是有限特性：简单来说，通过检查问题的有限投影无法检测出可学习性。然而，学习理论在定义学习的维度时充斥着只考虑问题的有限限制的概念，即具有有限特性的性质。如何调和这些结果呢？具体而言，哪些学习问题容易受到逻辑不可判定性的影响，哪些问题可以用有限特性来解决？我们证明了具有测度损失的监督学习的困难可以通过有限特性来精确描述。尤其是我们证明了学习一个假设类的样本复杂度可以通过检查其有限投影来判断。对于广泛类别的适当损失函数的可实现和了解学习，我们证明了一个确切的紧致性结果：一个类别在具有给定样本复杂度时可以学习，仅当其所有有限投影也是如此。对于具有不适当损失函数的可实现学习，我们证明了样本复杂度的确切紧致性可能会失败，并提供了样本复杂度相差2倍的相匹配上下界。我们猜想对于了解学习的情况可能存在更大的差距。我们技术工作的核心是一个关于变量分配的紧致性结果，它在保持函数类别在目标值以下方面具有广泛的兴趣，该结果推广了霍尔（Hall）经典匹配定理，可能具有独立的兴趣。

Feb, 2024

单指标模型是高维回归问题，根据未知的一维投影通过非线性、潜在非确定性的变换，标签与输入相关，涵盖了广泛的统计推断任务，提供了在高维领域研究统计和计算权衡的丰富模版。我们证明了在统计查询（SQ）和低次多项式（LDP）框架内计算高效算法所需的样本复杂度最低为Ω(d^k/2)，其中k是与模型关联的“生成”指数，我们明确定义了这个指数。此外，通过使用部分跟踪算法建立的匹配上界证明了这个样本复杂度也是充分的。因此，我们的结果表明，在SQ和LDP类中，只要k>2，计算与统计之间存在明显的差距。为了完成这个研究，我们提供了具有任意大生成指数k的平滑和Lipschitz确定的目标函数的示例。

Mar, 2024

本文研究了一个具有低维潜变量但高维观测值的线性时不变模型，并提出了一个算法，该算法可以恢复高维特征并将数据嵌入到低维空间，并学习低维模型参数，其样本复杂度保证为$\tilde{\mathcal{O}}(n/\epsilon^2)$，其中$n$为观测维度。此外，本文还建立了一个基本的下界，说明该复杂度保证在对数因子和与维度无关的常数上是最优的。本文还研究了一个元学习问题，该问题受到各种实际应用的启发，在这些应用中，观测者的列空间可以从多个线性时不变系统的数据集中共同学习。然后，提出了一种端到端算法，可以从元数据集中学习线性时不变系统，并在某些情况下突破样本复杂度的下界限制。

May, 2024

神经网络通过高维嘈杂的数据识别低维相关结构，我们对其工作原理的数学理解仍然有限。本文研究了使用基于梯度的算法训练的两层浅层神经网络的训练动态，并讨论了它们在具有低维相关方向的多指标模型中学习相关特征的方式。

May, 2024

本研究解决了高维环境中多索引模型学习的问题，提出了一种通过均场朗动算法训练的双层神经网络新方法。结果表明，当数据具有低维结构时，有效维度$d_{\mathrm{eff}}$可以显著小于环境维度，从而使样本复杂度几乎线性增长，潜在地提高了计算效率。

Aug, 2024

本研究针对神经网络在高维数据学习中的效率缺乏理论理解的问题，提出了一个通用模型——序列多索引模型，涵盖了众多已有模型。通过运用统计物理方法，本文系统性地分析了该模型的学习效果，提供了统一的分析框架，对于机器学习理论研究者与统计物理学家都具有重要的参考价值。

Sep, 2024