通过对于不匹配的模型进行学习曲线的近似，对于高维情况学生无关的平原在学习曲线中出现，而在低维情况下，学习曲线的渐近衰减强烈依赖于学生。

Jun, 2001

该研究探讨了在机器教学中教师如何在交互诊断和教学之前使用高斯过程推断学生相关信息的问题，并应用该算法到学生学习算法参数的推断和避免学生重复轨迹的离线强化学习中，并说明了交互教学比被动学习更可取的场景。

Apr, 2022

本文研究了以 ` 卷积 ' 内核为基础的教师 - 学生框架的核回归，使用物理学的启发式方法发现在无偏估计情况下，当教师的过滤器尺寸小于学生时，局部性是决定学习曲线指数 $\beta$ 的关键因素，而平移不变性则不是关键因素。

Jun, 2021

研究使用核方法学习监督任务所需的训练数据量，发现泛化误差随训练数据量 $n$ 的负指数幂下降，其指数 $eta$ 依赖于数据平滑度和维度，在真实数据集上实验表明 $eta$ 一般较小，可以通过关注真实函数在核的特征向量上的投影来预测 $eta$。

May, 2019

该论文探讨了基于特征的学生 - 教师学习方法的理论解析和实证研究，在深度神经网络中鉴别出对于学生网络成功的三个关键因素，即学生网络是否训练至零误差、教师网络对于原始输入问题的知识水平、以及教师网络如何将其知识分解到其隐藏特征中。

Mar, 2021

使用统计物理学中的复制法，我们针对一个综合数据集，研究了广义线性回归和分类问题，在超参数化和不充分参数化的条件下，为这些问题提供了渐近泛化表现的闭式表达式，特别地，我们展示了逻辑回归的双重下降效应，突显了用正交投影相比随机高斯投影在学习随机特征时的优越性，讨论了隐藏流形模型中数据相关性的作用。

Feb, 2020

研究了两层神经网络中过参数化对学生 - 教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。

Mar, 2023

研究机器学习算法（如神经网络）的泛化能力如何受数据分布结构影响，提出了一种基于随机梯度下降的可解模型来预测任意协方差结构的特征测试误差，并在各种数据集上验证其准确性；同时证明小批量 SGD 在固定计算预算下的最优批量通常较小，取决于特征相关性结构。

Jun, 2021

我们研究了数据分类问题，探究了机器学习模型的特征空间几何形态、数据分布结构和泛化能力之间的关系，发现非线性特征转换对于将原始数据映射至高维甚至无限维空间对模型的泛化能力有重要影响。

Nov, 2022

我们提供了一种针对大类特征映射的紧密渐近特征错误的表征，其中输入维度、隐藏层宽度和训练样本数在高维极限下成比例增加。我们的工作部分是受到了学习具有高斯彩虹神经网络的问题的启发，即具有随机但结构化权重的深层非线性全连接网络，它们的行协方差进一步允许依赖于前层的权重。对于这样的网络，我们还推导了一种以权重矩阵为基础的特征协方差的闭合形式公式。我们进一步发现，在某些情况下，我们的结果能够捕捉到通过梯度下降训练的深度有限宽度神经网络学得的特征映射。

Feb, 2024