- 探索基本引理与核回归之间的关联
通过对 Hankel 矩阵的线性方程进行转换，我们得到了系统轨迹的一种隐式核表示，同时保持了激励持久性的要求，并且证明了该表示与一种特定的核回归问题的解是等价的。
- 利用合适的缩放因子提高深层宽残差网络的泛化能力
深度残差神经网络（ResNets）在各种实际应用中取得了显著的成功。本文确定了适当的缩放因子（用 $\alpha$ 表示），用于深度宽 ResNets 的残差分支，以实现良好的泛化能力。我们证明，如果 $\alpha$ 是一个常数，则深度趋 - 模型坍塌的揭秘：回归案例
基于 ChatGPT 等大规模语言模型的研究中，模型崩溃现象指的是当模型在逐步进行自身前代生成的数据递归训练时，其性能逐渐降低直至彻底无效化，即模型崩溃。本研究在核回归的简化环境中研究了这一现象，并得到了结果，证明了模型能应对虚假数据的临界 - 基于现实假设的核回归泛化
对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象， - 由广义高斯 RBF 生成的复制核希尔伯特空间的预约 $L^2$- 度量
应用广义高斯径向基函数（RBF）在机器学习算法中的性能优于其他函数，通过对比高斯 RBF 核函数、Sigmoid 函数和 ReLU 函数，本文展示了广义高斯 RBF 在核函数中的应用及其在核回归、支持向量机（SVM）和模式识别中的成果。
- 从惰性训练动态到丰富训练动态的领悟
神经网络在从懒散训练动力学过渡到强大的特征学习规则时，产生 ' 领悟现象 '，通过研究多项式回归问题上的两层神经网络，我们发现特征学习速率和初始特征与目标函数的对齐是产生 ' 领悟现象 ' 的关键因素。
- 大维数情况下核回归的最优速率
对大维数据的核回归进行研究，利用 Mendelson 复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率，进一步确定最优极小二乘误差率，并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为，同时也适用于神经切线核和宽神经网络。
- 具有顺序最优遗憾界限的核化强化学习
针对使用核回归时的强化学习问题，我们提出了一种乐观性的改进最小二乘法值迭代方法，我们证明了其在一般情况下具有一阶最优遗憾保证，其结果比现有技术有显着的多项式改进。
- 宽残差网络的泛化能力
本文研究了 ReLU 激活函数下宽残差网络在球面上的泛化能力，并且证明了残差网络核（RNK）在宽度趋近于无穷时一致收敛于残差神经切向核（RNTK），最终说明了残差网络的泛化误差总是趋近于 RNTK 的核回归误差，而早停策略下的宽残差网络可以 - 基于核回归的大语言模型上下文学习解析
通过研究大型语言模型，本文提出 Large language models 可以在面对语境示例时模拟核回归算法，并证明了在 Context prompts 上的贝叶斯推理可以被当作大样本上的核回归，并通过实证研究发现，LLMs 中的注意力和 - ICLR强归纳偏置可证明防止无害插值
本文通过研究感知偏差的强度程度，探讨了过度拟合噪声现象所谓 “良性过度拟合” 或 “无害插值” 时的影响因素，给出了高维卷积核回归收敛界限的紧密非渐进限制，并提供了旋转不变性差异的不同滤波器尺寸深度神经网络的经验证据。
- MM机器学习和量子蒙特卡洛在高压氢中的应用
发展了一种结合了量子蒙特卡罗的准确性与机器学习潜能的效率的技术，使用核回归与 SOAP 特征，并利用基于最远点采样的稀疏技术和 Δ-learning，可以将训练数据集保持小，以实现高精度计算，第一个应用涉及高压氢的液 - 液相转变的基准研究 - 在卷积师生场景中，本地性击败了维度诅咒
本文研究了以 ` 卷积 ' 内核为基础的教师 - 学生框架的核回归，使用物理学的启发式方法发现在无偏估计情况下，当教师的过滤器尺寸小于学生时，局部性是决定学习曲线指数 $\beta$ 的关键因素，而平移不变性则不是关键因素。
- MM核回归和宽神经网络的波谱偏差和任务 - 模型一致性解释泛化
探究基于核回归的可推广性误差，解释了以 “简单函数” 为特征的归纳偏差，并表明更多数据可能会损害推广能力，还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。
- ICML核回归和宽神经网络中的频谱相关的学习曲线
通过高斯过程和统计物理学的理论方法，我们得到了内核回归广义性能的分析表达式，这些表达式是关于训练样本数量的函数。我们的结果适用于具有广泛神经网络的情况，这是由于训练它们和使用神经切向核 (NTK) 的核回归之间的等效性。通过计算核的不同谱成 - 利用无限宽深度神经网络在小数据任务中的能力
该研究表明：(a) 在无穷宽度神经网络 (NNs) 上应用 l2 损失 (通过梯度下降法) 训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核 (NTK) 的核回归是相等的。在此基础上，对 NTK 进行高效计算的算法已被提出，表 - NIPS交叉性：期望约束下的多元群体公平
本研究旨在通过对核回归和特别是决策树回归中预期子人群的结果进行限制，以提高机器学习模型的公平性；该解决方案不影响决策树的复杂度顺序，并且容易集成到训练后的模型中。
- ICCV近距离和远程感知的统一模型
本文提出了一种新型卷积神经网络架构，用于估计地理空间函数，并使用各种标签创建了一个大型数据集进行评估。
- 基于核方法的图信号重构
本文研究基于图信号的信号处理问题，提出了一种基于核回归的模型方法，能够有效地处理图信号的重构和估计问题，并通过多核方法的应用，解决了参数选择和滤波器自动选择的难题。
- 回归模型中的平均绝对百分比误差
本文研究了使用平均绝对百分比误差（MAPE）作为回归模型质量度量的后果。我们证明了最佳 MAPE 模型的存在，并展示了基于 MAPE 的经验风险最小化的普适一致性。我们还表明，在 MAPE 下找到最佳模型等价于进行加权平均绝对误差（MAE）