当存在连续对称性时，我们表征了随机梯度下降法（SGD）的学习动力学，它与梯度下降法之间的差异是显著的。我们将对称性对学习动力学的影响分为两类：其中一类对称性，SGD 自然地收敛于具有平衡和对齐梯度噪声的解；另一类对称性下，SGD 几乎总是发散。然后，我们证明了即使丢失函数中不存在对称性，我们的结果仍然适用并可以帮助我们理解训练动力学。我们的主要结果是普适的，仅依赖于对称性的存在，而与丢失函数的细节无关。我们证明了提出的理论解释了渐进锐化和平坦化，并可应用于常见的实际问题，如表示规范化，矩阵分解和预热的使用。

Feb, 2024

研究基于树的模型的鲁棒性验证问题，包括决策树、随机森林和梯度上升决策树。提出了一种线性时间算法，可以验证单棵树，对于树集合，可以将验证问题建模为一个多部分图上的最大团问题并通过发现图的 boxicity 来求得一个紧密的下限。在 10 个数据集上，算法比之前需要解决的 MILP 快几百倍，并且能够对具有数百棵深度树的大型 GBDT 模型给出紧密的鲁棒性验证界限。

Jun, 2019

本篇论文旨在研究如何提高 Gradient Boosting Decision Tree 模型的准确性，同时保持差分隐私强有力的保护措施。通过改进灵敏度限制和与树之间隐私预算的分配算法，该论文提出一种更有效的差分隐私 GBDT 训练算法，以实现更高的模型准确性。

Nov, 2019

本文研究了树模型中对抗样本和模型稳健性的问题，并提出了一种优化决策树构建过程的算法，通过在最坏情况下的输入特征扰动下优化性能，可以显著提高树模型对抗样本的稳健性。

Feb, 2019

本文研究了使用局部敏感哈希的 GBDT 在水平联邦学习中的训练，证明了其安全性并且可以显著提高预测准确性。

Nov, 2019

本文研究了图卷积网络在对抗扰动下的鲁棒性，通过提出 GraphDefense 方法，成功提高了图卷积网络的鲁棒性，同时能够维持半监督学习的设定，具有较大的应用潜力。

Nov, 2019

本文介绍了如何生成树型集成学习（特别是梯度提升决策树）的本地解释，以便理解黑盒子模型的预测。作者提出了一种方法，可以对于正确预测的实例生成对抗解释，来研究模型的敏感性。与现有方法不同，这个方法可以在保持原有结构和准确性的情况下为 GBDT 提供解释。

Jul, 2019

提出一种名为 GIT 的综合方法，通过使用梯度信息和不变性转换来检测泛化错误，并将被错误分类的样本转移到神经网络的泛化区域，实验结果显示 GIT 在各种网络架构、问题设置和扰动类型上表现出卓越的性能。

Jul, 2023

通过研究变换式集成防御在图像分类中的有效性和原因，本文设计两种自适应攻击方法，揭示了对抗样本传递性的存在，变换式集成防御的鲁棒性收益受到限制，而这种限制主要来自于不可逆变换而非模型集成。

Sep, 2020

构建一个能够明确捕捉数据中对称性的生成模型，以便以可解释的方式学习存在的对称性，并结合现有生成模型提高边际测试日志似然和对数据稀疏化的鲁棒性。

Mar, 2024