本文举行了一项大规模实证研究,详细探究了影响函数在神经网络模型中的成功和失败,在浅层网络中影响估计值相对准确,在深层网络中影响估计值通常是错误的,特定的神经网络结构和数据集,训练时使用重量减退正规化很重要以获得高质量的影响估计。
Jun, 2020
通过理论分析和实验测试,我们发现影响函数在现代深度神经网络中存在参数发散的局限性,但仍可用于模型调试和纠正误预测。
May, 2023
本文提出利用深度学习 NLP 模型的解释性和去除数据中虚假相关性的方法,即影响调整,该方法通过调整模型参数并学习任务标签预测,来降低数据中的混杂特征,可以显著地胜过对抗训练等基础方法。
Oct, 2021
使用影响函数改进深度神经模型的性能并自动识别需要手动校正的数据点来提高模型性能,达到减少手动标注数据点数量的效果。
Feb, 2024
微调预训练模型的能力和安全性的研究表明,微调很少改变模型的底层能力,而是在这些能力之上学习了一种被称为 “包装器” 的微小转换,进一步的微调则可以使模型重新利用这些能力。
Nov, 2023
该研究旨在解释深度神经网络的行为特性,作者通过使用基于公理的影响测量方法来识别对感兴趣的数量和分布具有高影响力的神经元,并解释这些神经元所代表的概念。通过在 ImageNet 数据集上测试,作者证明了影响导向的解释方法具有将信仰术语的影响概念推广到更多实例的能力,可以提取网络中关于类别的核心信息,可以分离网络用于做出决策和区分相关类别所使用的单个特征。
Feb, 2018
通过对细分任务的调优,研究模型的内部计算如何受到影响,并在实体跟踪中显示出性能提升。
通过概念微调(Concept-Tuning)方法,可以改善预训练模型的特征表示,减少罕见特征和虚假关联特征的负面影响,进而提高细调方法在各种数据集上的表现。
研究表明优化 Fine-tuning 效果的原因是 Fine-tuning 的数据集大小,同时数据集大小会影响编码的语言知识程度,而且数据集大小主要影响神经网络的高层,且这种影响程度跟 Fine-tuning 迭代次数有关。
Mar, 2022
本文提出使用影响函数技术来追踪黑盒模型预测的训练数据,并且证明了即使在非凸和不可导的模型中,影响函数的近似也可以提供有价值的信息。在线性模型和卷积神经网络中,通过使用影响函数,探究了模型行为、调试模型、检测数据集错误以及创建视觉上难以区分的训练集攻击等多个方面得到了实际的解决方案。
Mar, 2017