提出了一种名为 ADADELTA 的针对梯度下降的每维学习率的新方法，该方法仅使用一阶信息在时间上动态自适应，除了香草随机梯度下降之外几乎没有计算开销，并且不需要手动调整学习率，且与嘈杂的渐变信息、不同的模型架构选择、各种数据形态和超参数的选择都表现出鲁棒性，在 MNIST 数字分类任务上使用单个机器并在分布式群集环境中使用大规模语音数据集展示出与其他方法相比令人期待的结果。

Dec, 2012

通过在线和离线阶段，我们提出了一种高效的框架，评估训练数据对目标模型的影响，通过反向梯度匹配问题建立了一个精简同义词集，用于加速离开一个样本的过程，并计算评估目标基于的归因矩阵。实验证明，相比直接重新训练方法，我们的方法在实现了可比较的模型行为评估的同时，显著加快了过程。

Apr, 2024

本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

Jul, 2016

本文研究了凸模型的数据删除问题，通过利用凸优化和水库取样技术，我们提出了第一个能够处理任意长的对抗性更新序列的数据删除算法，并承诺每次删除的运行时间和稳态误差均不随更新序列的长度而增长。此外，我们还引入了几个新的概念区分。我们可以要求删除后，整个优化算法维护的状态与重新训练应该获得的状态在统计上难以区分，也可以要求仅使可观测输出在统计上难以区分。在这种较弱的删除标准下，我们能够给出更有效的删除算法。

Jul, 2020

优化机器学习模型重新训练的成本，通过考虑数据、模型和预测查询等多种因素，提出了一种成本感知的重新训练算法 Cara，该算法能适应不同的数据变化并在总成本更低的情况下实现比漂移检测基线更好的准确性。

Oct, 2023

通过使用混合整数优化算法，在重新训练机器学习模型时考虑到不同数据批次更新的稳定性，通过使用自定义的距离度量指标来实现保持一致的分析洞察力，并在一个真实的生产案例中展示出比贪婪训练模型更强的稳定性。重要的分析洞察力在重新训练迭代中保持一致。

Mar, 2024

本文提出了一种新的线性模型和逻辑模型的近似删除方法，其计算成本在特征维度 d 上是线性的，并且独立于训练数据数量 n。我们还开发了一种新的特征注入测试方法，以评估从机器学习模型中删除数据的彻底性。

Feb, 2020

本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

Nov, 2022

探讨了在不必重新训练模型的情况下，如何修复部分故障的神经网络，并使用改进的连续学习算法 OGD 来进行调试，实验证明可以实现消除不良行为和重新学习适当行为的目标。

Jun, 2022

基于机器学习的性能模型在构建关键的作业调度和应用程序优化决策中越来越被使用。我们开发了持续学习性能模型，考虑到数据分布漂移，减轻灾难性遗忘，并提高泛化能力。我们的最佳模型能够保持准确性，无论系统变化引起的新数据分布，同时相比于朴素方法，在整个数据序列的预测准确度上提升了 2 倍。

Oct, 2023