本文主要研究的问题是：如何在样本预算有限的情况下，统一地估计多个分布的平均值。通过采集数量，可以根据它们的方差为已知来设计最优的采样策略，但在更实际的情况下，需要设计自适应采样策略来选择要采样的分布（根据先前观察到的样本）。文章描述了两种策略，根据样本数据以高概率上限置信界为比例，拉动分布并报告相对于最优配置的过度估计误差的有限样本性能分析。我们表明这些分配策略的性能不仅取决于方差还取决于分布的完整形状。

Jul, 2015

提出了一种关于最小二倍经验风险下界的理论证明，并明确了最小二倍经验风险学习算法的特点，其中包括极限对称性和最小随机化“投票”程序。

Jun, 2016

通过深度学习将机器学习模型与优化算法直接结合，实现决策为导向的学习，从而在解决组合优化问题时取得更好的性能和决策效果。

Sep, 2018

本文探讨了如何在low noise的情况下, 通过logarithmic loss和triangular discrimination达到contextual bandits问题中的first-order guarantees，取得了很好的效果和结果

Jul, 2021

我们提供了一种新的分析框架，用于分析统计学习中基于一阶优化算法的泛化误差，当只能通过一个 oracle 提供的部分观测来获取梯度。我们的分析依赖于梯度相对于数据样本的正则性，并且允许为多个学习问题，包括监督学习、迁移学习、鲁棒学习、分布式学习和使用梯度量化的通信高效学习推导出接近配对的上下界的泛化误差。这些结果适用于平滑和强凸优化问题，以及满足 Polyak-Lojasiewicz 假设的平滑非凸优化问题。我们的上下界依赖于一个新颖的量，它扩展了条件标准差的概念，并衡量了通过访问 oracle 获取梯度的程度。因此，我们的分析为优化统计学习目标的优化提供了精确的含义，即统计学习目标的优化与其梯度估计一样困难。最后，我们证明，在标准监督学习的情况下，批梯度下降法随着批次大小的增加和热启动可以达到近似最优的泛化误差，从而激励我们在实际应用中使用这种优化方案。

Jul, 2023

我们研究了多类别分类中的学习与弃权的关键框架，介绍了一系列新的理论和算法结果，提出了几个新的代理损失函数家族，并分析了单阶段和两阶段学习设置的保证和应用，证明了我们的代理损失的优越性，并展示了广泛适用的两阶段弃权算法的卓越性能。

Oct, 2023

数据组织结构对机器学习算法的有效性有巨大影响，特别是对于二元分类任务。本研究提供了一个理论框架，表明给定数据集上二元分类器的最大潜力主要受到数据固有特性的限制。通过理论推理和实证检验，我们得出两个主要结论：首先，我们展示了在实际数据集上二元分类的性能的理论上界是可以被理论上达到的；这个上界代表了学习损失和评估指标之间的可计算平衡。其次，我们计算了三个常用评估指标的精确上界，揭示了与我们的总体论点的基本一致性：上界与数据集的特征紧密联系，与所使用的分类器无关。此外，我们的后续分析揭示了性能上限与二元分类数据中类别重叠水平之间的详细关系，这对于确定在特征工程中使用的最有效的特征子集至关重要。

Jan, 2024

我们研究数据选择问题，将利用$k$-means聚类和敏感性抽样方法，基于模型损失的嵌入表示，可选择一组典型样本，其平均损失与整个数据集的平均损失相对应，具有可证明的性质，并且在微调基础模型上表现优于最先进的方法，同时展示了它如何应用于线性回归，提供了一个更简单且可扩展性更强的抽样策略。

Feb, 2024

研究理论以确定最简单的算法，通过选取数据的子集经验风险最小化（ERM）训练而返回多个ERM分类器的多数投票，实现高概率区间的最优算法。

Mar, 2024

通过数据驱动的方法，我们提出了一个完全基于数据的途径来估计最大误差的上界，解决了构建多个同时有效置信区间的问题，并拓展了估计过程的应用领域。

May, 2024