本文介绍了一种与分类器和训练算法共同作用的在线算法，通过其可提高在可学习类别上的整体性能

Nov, 2018

本文提出Information Bottleneck (IB) 方法用于表征学习。通过调整拉格朗日乘子$eta$实现压缩和预测之间的平衡，同时为IB-learnability提供理论指导和适当的算法来估计最小$eta$。作者通过分析合成数据集、MNIST和CIFAR-10数据集来验证理论条件。

Jul, 2019

本研究提出了一种基于标签质量而非模型预测的学习方法——Confident Learning（CL），通过对数据进行剪枝、使用概率阈值计数来估算噪声，并对样本进行排序，以提高其置信度。我们基于假设类条件噪声过程直接估算了噪声标签和无污染标签之间的联合分布，提出了一种广义CL，它是可证明一致和实验表现优异的。我们在不同类型数据上运用CL，包括MNIST数据集、Amazon评论库、以及ImageNet数据集的一些子集，结果表明CL可以清除不同类型数据中的噪声，提高模型准确性。

Oct, 2019

本文介绍一种Gaussian协变量泛化的teacher-student模型，可以在固定特征映射生成的不同空间中进行操作，可以捕捉广泛的现实数据集的学习曲线，并证明了渐近训练损失和泛化误差的严谨公式，讨论了该框架的能力和局限性。

Feb, 2021

本文提出了一种基于机器学习的辅助估计算法来解决大型数据集中不同元素数量的估计问题，并证明了当预测器正确的逼近因子为常数时，可以显著降低样本复杂度。

Jun, 2021

本文考虑了一类概率分布的PAC可学习性的参数，并提供了一个令人惊讶的答案-没有这样的参数。作者使用自己的技术证明了相似的结果，并表明不存在可以描述学习复杂性的维度概念，并且对于这些类型分布的学习可行性没有描述性的特征。此外，该研究还表明，对于分类学习、二元分类、连续损失函数的学习，不存在描述性维度或学习可行性的特征。

Apr, 2023

本文通过理论分析探讨了在样本噪声存在的情况下，仅使用噪声样本能否学习到可靠模型的问题。作者认为，没有额外假设条件的情况下，经验风险最小化可以达到最优风险上限。此外，文章还讨论了0-1损失的极小极大下限问题，认为纯使用噪声样本无法学习。

Jun, 2023

通过利用分布鲁棒优化，我们提出了一个新的公式来学习一组规则集的集合，以在保持计算成本低的同时确保良好的泛化性能，并通过构建一个稀疏的规则集合来解决规则集的稀疏性和预测准确性之间的固有权衡。

Nov, 2023

该研究论文探讨了高维二分类在具有条件性噪声标签的情况下的理论视角。通过研究具有标签噪声感知损失函数的线性分类器在维度p和样本数n都很大且可比时的行为，利用随机矩阵理论和高斯混合数据模型，证明了当p和n趋近于无穷时，线性分类器的性能收敛至涉及数据的标量统计量的一个界限。重要的是，我们的发现表明低维处理标签噪声的直觉在高维中不成立，即低维中的最优分类器在高维中出现显著失败。基于我们的推导，我们设计了一种优化方法，经证明在处理高维噪声标签方面更加高效。我们的理论结论在真实数据集上的实验证实了我们的优化方法优于考虑的基准方法。

May, 2024

学习性能的理论边界是该研究论文的重点，特别关注使用一阶迭代算法弱恢复低维结构所需的最小样本复杂度，在样本数量与协变量维度成正比的高维情况下，通过非线性变换来研究神经网络的特征学习，探讨多指数模型的各种算法、计算相变以及近似传递信息算法的最优性。

May, 2024