- 深度宽神经网络的统计最优性
本文研究了深度神经网络的泛化能力问题,探讨了其与神经切向核回归的关系,并分析了核的谱性质,得出了多层宽神经网络使用梯度下降等算法在早期停止时能够获得最佳性能的结论。
- 自适应数据采集的政策学习
本文探讨在自适应数据收集环境下如何使用基于加权的估计算法来学习最优策略,提出了基于广义增强的倾向性加权(AIPW)估计器的算法,并建立了有限样本遗憾上限,证明最优权重方案下,算法即使在减少探索数据的情况下也能实现最小化的遗憾保证。
- 尖峰运输模型中的 Wasserstein 距离估计
本文提出了一种新的统计模型 —— 尖峰运输模型,该模型规范化了两个概率分布仅在低维子空间上不同的假设。我们研究了在这个模型下 Wasserstein 距离的最小二乘率,并表明这种低维结构可以避免维度灾难。通过最小二乘分析,我们得出了一个下界 - 最优稀疏恢复的隐式正则化
本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案,旨在从线性测量的过少的系统中重构出一个稀疏信号,考虑到受限等距假设,我们展示了有一定参数下,预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法,可以在费用 - 基于表格型 MDPs 的非渐进性依赖间隔遗憾上界
本文的关键是通过建立一种新的 “裁剪” 遗憾分解技术,证明了乐观算法能够在有限的步数内以对数遗憾实现相应动态规划问题的最优解,并适用于广泛的最优算法。
- 阶梯衰减策略:一种近似最优、几何下降的最小二乘学习速率过程
这项工作研究了随机梯度下降对于流式最小二乘回归问题的最终迭代行为并探讨使用 Step Decay 调度方案实现可接受的改进,同时发现 SGD 的最终迭代行为不如期望,并强调了随机梯度下降固定时间限制下确定最优学习率方案的复杂性。
- 估计流形的范围
该论文是关于如何估算流形的正则程度的研究。提出了一个估计器来估计流形的 reach,给出了达到统一的期望损失界限的证明,并给出了针对 reach 估计的最小化率的上下界。
- 估计流形维度的最小极小率
本文研究了机器学习和计算几何中的一些问题,主要关注于如何准确估算支持概率分布的流型的内在维度,同时提出了相应的上下界极值估算公式。
- 趋势滤波调节分段多项式估计
通过将 trend filtering 估计与局部自适应回归样条进行比较,发现 trend filtering 估计可以更好地适应平滑度的局部水平,与局部自适应回归样条非常相似,而且在 k 阶可变差分函数的情况下,trend filteri - k-NN 回归适应局部内在维度
该研究论文表明,非参数回归器在数据的内在维度的影响下可适应高维数据,k-NN 回归也适应内在维度。这篇论文还证明了最小极限速率不依赖于度量空间或分布的特定选择,而是适用于任何度量空间和加倍度量。
- 高斯先验下的贝叶斯反问题
本文研究了非参数逆问题中的后验分布,证明其收敛于真实参数的速率取决于参数的平滑度以及先验的平滑度和尺度。正确组合这些特征可以实现最小化速率。显示可信度集的频率覆盖取决于先验和真实参数的组合,先验更平滑会导致零覆盖,而粗糙的先验会导致保守的覆