该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

Feb, 2021

提出了一种不变因果表示学习 (iCaRL) 方法，通过利用广义指数族分布得出数据表示，可以在非线性场景中实现超出分布的泛化，并发现目标的全部直接原因，针对合成和真实数据集提出性能优于基线方法的实验结果。

Feb, 2021

近年来，对于在训练和测试数据之间分布变化下表现出鲁棒性能的统计方法引起了越来越多的关注。本文关注点预测的统计研究主要关注的是均方误差损失，而本文则将关注焦点转向概率预测，旨在全面量化给定协变量的结果变量的不确定性。我们在因果性启发框架下，研究了概率预测在适当评分规则下的不变性和鲁棒性。我们证明了任意的分布变化通常不具有不变且鲁棒的概率预测，与点预测的情况相反。我们通过说明如何选择评估指标并限制分布变化的类别，以实现在典型的高斯异方差线性模型中的可识别性和不变性。在这些发现的基础上，我们提出了一种能够产生不变概率预测的方法，称为 IPP，并研究了底层参数的一致性。最后，我们在模拟数据和单细胞数据上展示了我们提出的方法的实证表现。

Sep, 2023

RLNet 是一种鲁棒线性化网络，通过减少高延迟 ReLU 操作，在干净和受损图像上提高模型性能，从而在私有推理中提供改进的分类准确性，同时减少计算复杂度。

Feb, 2024

证明随机特征学习的一般性定理，表明具有非线性激活函数的随机特征模型在训练和泛化误差方面渐近等效于匹配协方差矩阵的线性高斯模型，其方法基于经典的 Lindeberg 方法，证明的主要内容包括针对与训练过程相关的优化问题的 leave-one-out 分析以及针对弱相关随机变量的中心极限定理，通过 Stein 方法获得。

Sep, 2020

本论文通过信息论的方法，对机器学习中不变表示的准确性和不变性之间的最优权衡进行了分析，并提出了一种几何特征，可以限定或精确刻画分类和回归任务的准确性和不变性之间的 Pareto 最优边界。

Dec, 2020

引入了新的框架 Bilinear Classes，用于增强学习的泛化，适用于通过函数逼近实现多种模型，其中 Best Known Sample Complexity Bounds 几乎与现有模型相匹配。

Mar, 2021

本文提出了一个新颖的具有转换不变性的特征学习框架，将线性转换纳入特征学习算法中，可应用于无监督学习方法，如自动编码器或稀疏编码，证明在 MNIST 变化，CIFAR-10 和 STL-10 等图像分类基准数据集上具有优越的分类性能并在 TIMIT 数据集上实现了最先进的电话分类任务的结果。

Jun, 2012

本论文讨论了概率不变性或稳定性的概念及其如何应用于因果推断与预测鲁棒性问题。同时提出了一种用于风险最小化问题的因果形式化方法，通过估计常常出现在数据收集中的异构性或扰动数据来确定这种不变性。此新方法在许多应用中具有潜在的实用价值，比标准回归或分类框架中的机器学习或估计方法提供了更强的鲁棒性和更好的因果解释。

Dec, 2018

研究了机器学习分类器对抗性扰动的认证鲁棒性，提出了第一个通用近似认证鲁棒性 (UniCR) 框架，能够逼近任何输入在任何分类器中针对任何 $\ell_p $ 扰动时的鲁棒性认证。

Jul, 2022