通过将训练数据从一个混合过程进行采样，我们研究了统计学习算法在非独立同分布的环境中的泛化误差，并基于延迟反馈的在线学习提出了一个分析框架。特别地，我们展示了即使数据序列是从混合时间序列采样得到的情况下，通过存在一个具有有界遗憾的在线学习算法（针对一个固定的统计学习算法，在一个特殊构建的延迟反馈的在线学习博弈中），所述统计学习方法的泛化误差较低。这些速率展示了在线学习博弈中的延迟量和连续数据点之间的依赖程度之间的权衡，当延迟适当地调整为过程的混合时间的函数时，可以在许多研究良好的情形下恢复近乎最优的速率。

Jun, 2024

研究混合损失函数的收敛性及其与熵的关系和性质，推导出一般熵下的常数后悔界算法和优化问题，并对不同熵的选择提出了一些猜想。

Jun, 2014

该研究使用凸优化方法控制给定大小的所有子人群的最坏情况表现，从而提高模型的泛化能力。实证研究表明该方法可在未知子人群中推广。

Jul, 2020

本文研究用于离散点过程的快速混合马尔可夫链蒙特卡罗采样的系统设计机制，探究了设置条件和误差限制的方法，提出了如何使用 Hessian 量来控制分解信息量，指出如果使用自然的相关性衰减概念，可以使用快速混合的 MCMC 方法导出较小的误差上限。

Jun, 2015

统计学习中的依赖数据和平方损失在假设类 F 中研究，其中 Ψp 是范数 λf∥f∥Ψp≡supm≥1m−1/p∥f∥Lm 为某个 p∈[2,∞]。我们的研究旨在寻找一个与依赖数据学习相关的噪声交互项或者方差代理。在我们的假设类 F 上，当 L2 和 Ψp 的拓扑性质相当时，我们证明经验风险最小化者的速率只取决于类的复杂性和第二阶统计量，与混合的直接依赖性无关。我们将此称为近混合无关速率，因为对于混合的直接依赖性只作为一个附加的高阶项。我们通过将弱子高斯类的概念与混合尾部泛型链结合起来得出我们的结果。这种组合使我们能够计算出一系列问题的尖锐的、实例优化的速率。

Feb, 2024

近期的深度学习研究在有界的损失函数或 (亚) 高斯或有界输入的情况下建立了深度神经网络估计器的一些理论性质。本文考虑了从弱相关观测中进行鲁棒深度学习，涉及无界的损失函数和无界的输入 / 输出。仅假设输出变量具有有限的 r 阶矩，其中 r>1。在强混合和 ψ- 弱相关假设的情况下，建立了深度神经网络估计器的期望超额风险的非渐近界限。我们推导出了这些界限与 r 之间的关系，并且当数据具有任意阶的矩 (即 r =∞) 时，收敛速度接近于一些著名结果。当目标预测函数属于具有足够大平滑指数的 H"older 平滑函数类时，期望超额风险的速率对于指数强混合数据接近于或与使用独立同分布样本获得的速率相同。我们考虑了鲁棒非参数回归和鲁棒非参数自回归的应用。对于具有重尾误差的模型的模拟研究表明，具有绝对损失和 Huber 损失函数的鲁棒估计器优于最小二乘法。

May, 2024

我们使用在线到批次转换范例，给出了从依赖数据源中获取的样本训练的统计学习算法的泛化界限，包括期望值和高概率。我们表明，统计学习器在依赖数据环境中的泛化误差等同于独立同分布环境中的泛化误差，除了一个依赖于底层混合随机过程的衰减速率且与统计学习器复杂性无关的项。我们的证明技巧涉及基于 Wasserstein 距离定义在线学习算法稳定性的新概念，并利用基于依赖随机变量的 “近似鞅” 浓度界限，得出了统计学习算法在依赖数据上的泛化误差的适当上界。

May, 2024

该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。

Jun, 2016

深度神经网络的广义界限在非平稳数据情况下的建立。

Oct, 2023

通过有限混合物逼近一般的高斯位置混合物，在具有紧支持或适当的尾部概率假设的混合分布族中确定实现所需精度（通过各种 $f$- 分歧度测量）的有限混合物的最小阶数，其中上界是通过使用局部矩匹配技术实现的，下界是通过将最佳逼近误差与某些三角矩矩阵的低秩逼近联系起来，然后通过对其最小特征值进行精细的谱分析确定的。在高斯混合分布情况下，该结果纠正了之前在 [Allerton Conference 48 (2010) 620-628] 中的下界。

Apr, 2024