本文研究使用任务不可知的自我影响分数对训练数据进行清洗的有效性，通过分析其在捕捉自然异常值方面的功效来调查自我影响数据清洗对机器翻译、问答和文本分类等任务的改进程度，利用自我影响计算的最新方法和自动课程学习作为基础。

Feb, 2023

应用影响力分数评估语言分类任务，通过修剪训练数据来量化准确性变化，并提供基于分数采样的建议，以提高准确性和训练效率。

Nov, 2023

我们提出了 DataInf，一种高效的影响力近似计算方法，可用于大规模生成型 AI 模型。通过利用易于计算的闭合形式表达式，DataInf 在计算和内存效率方面优于现有的影响力计算算法。我们的理论分析表明，DataInf 特别适用于 LoRA 等参数效率高的微调技术。通过系统的实证评估，我们表明 DataInf 准确地近似了影响力分数，并且比现有方法快几个数量级。在 RoBERTa-large、Llama-2-13B-chat 和 stable-diffusion-v1.5 模型的应用中，DataInf 能够比其他近似影响力分数更好地识别出影响最大的微调示例，而且可以帮助识别出错误标记的数据点。

Oct, 2023

基于影响函数的健康影响噪声训练 (HINT) 是一种高效而强大的方法，用于防御数据中毒攻击，通过使用影响函数构造有助于加固分类模型的健康噪声，显著减少对测试数据的泛化能力影响，该方法在部分训练数据修改时也能有效执行，经过综合评估，HINT 能高效防护深度学习模型，抵御无目标和有目标的攻击。

Sep, 2023

本文研究了在噪声的核磁共振图像上训练深度学习模型以分类脑肿瘤的困难但现实的情景，提出了两种对抗噪声的训练方法：基于影响函数的样本重新加权（ISR）和基于影响函数的样本扰动（ISP）。通过实验证明 ISR 和 ISP 可以高效地训练出对噪声训练数据具有鲁棒性的深度学习模型。

Mar, 2024

本文介绍了数据点对于模型预测的影响函数以及一种线性回归方法 datamodels 来预测训练点对测试数据输出的影响，并提供了更好的理论理解，主要工具是谐波分析和噪声稳定性。

Oct, 2022

噪声标签学习的研究中，噪声建模和噪声检测是两种常见方法，但这两种方法通常独立研究，缺乏对它们的协作研究。本文探讨了这两种方法的整合，提出了一个互联结构，包括噪声建模、源知识识别和使用噪声源知识整合方法的增强噪声检测的关键模块。在包括三种类型的噪声和各个模块的不同组合的四个数据集上的实验证明了这些模块的协作有效性。我们的协作结构方法在合成噪声数据集中提高了高达 10% 的 top-1 分类准确率，在真实世界的噪声数据集中提高了 3-5% 的准确率。结果还表明，这些模块在不同噪声场景中对整体性能有不同的贡献。这些发现为将来设计针对特定噪声场景定制的噪声标签学习方法提供了有价值的见解。我们的代码对公众开放可访问。

Nov, 2023

本篇研究探讨使用数据增强方法，如 mixup 和 syntax-breaking，对于用于源代码语言的训练数据的质量提升，结果表明这些方法可以产生更准确和稳健的模型。

Mar, 2023

本文提出一个数据清洗框架，包含基于规则的句法过滤器和基于模型的语义过滤器，将其应用于神经代码搜索数据集，以提高数据集质量和模型性能。实验证明，使用我们的框架训练神经代码搜索模型可平均提高 19.2％的 MRR 和 21.3％的 Answer@1。

Feb, 2022

文章研究了影响函数在神经机器翻译（NMT）中的应用，提出了两个有效扩展，并证明在处理复制训练示例等子问题时，影响功能可以更广泛地应用于 NMT。

Oct, 2022