- 重新审视影响函数的脆弱性
通过验证和放松传统的凸性假设条件,并使用更深的模型和更复杂的数据集,我们研究了影响力函数的脆弱性,并分析了验证方法可能引起脆弱性的原因。
- 神经网络函数空间距离的高效参数逼近
本文提出了一种名为 LAFTR 的线性激活函数技巧,并对 ReLU 神经网络的 FSD 进行有效的近似,具有更小的内存需求并用于持续学习,准确估计影响函数并检测错误标记的示例。
- ACL需要移除多少个哪些训练点才能翻转该预测?
该研究讨论了如何通过影响函数快速找到一个最小子集,从而改变文本分类模型的预测结果,并讨论了其在模型强度和解释性方面的优点。
- EMNLP序列标注模型的影响函数
本文通过使用影响函数测度的方法,扩展了序列标注模型的可解释性。作者通过度量标注段之间的影响,确定训练中误差的位置,从而提高了模型的准确性。
- 分析使用影响力函数在神经机器翻译中进行特定实例数据过滤
文章研究了影响函数在神经机器翻译(NMT)中的应用,提出了两个有效扩展,并证明在处理复制训练示例等子问题时,影响功能可以更广泛地应用于 NMT。
- KDDJuryGCN:量化图卷积网络的 Jackknife 不确定性
本文提出了一种名为 JuryGCN 的基于频率学派的方法,该方法利用杰克耐夫估计器将节点的不确定性量化为置信区间的宽度,利用影响函数估计 GCN 参数的变化而无需重新训练,从而能够对 GCN 的不确定性进行确定性量化。在真实世界的数据集上进 - 通过谐波分析理解影响函数和数据模型
本文介绍了数据点对于模型预测的影响函数以及一种线性回归方法 datamodels 来预测训练点对测试数据输出的影响,并提供了更好的理论理解,主要工具是谐波分析和噪声稳定性。
- COLING少量干净实例帮助去噪远程监督
本文研究远程监督关系提取器的质量问题,旨在通过清洗少量数据以提高模型预测效果,并引入影响函数及师生机制来筛选优质实例和控制中间结果的纯度,取得了良好的去噪效果。
- ICLR有限宽度神经网络中双重下降现象的现象学
本文使用影响函数来推导适当的人群损失和下界表达式,研究了损失函数对双下降的影响,发现神经网络和其 Hessian 光谱在插值阈值附近存在有趣的属性。
- 通过影响函数在规模上近似实现全面的共形预测
本文介绍了使用影响函数来高效近似全面的相合预测方法。该方法是全面相合预测的一种一致性逼近,并能比主流的方法更有效地缩放。
- AAAI影响函数的扩张
本论文提出基于 Arnoldi 迭代方法的反 Hessian 矩阵计算,实现了首个能够扩展到拥有几亿参数的 Transformer 模型的成功影响函数实现,适用于图像分类和序列 - 序列任务。
- 基于示例解释的交互式标签清洗
Cincer 是一种新的方法,它基于样本间的最大不兼容性来清洗数据,并使用 Fisher 信息矩阵的影响函数近似实现。该方法能发现在传统方法无法发现的已污染数据,并与过去数据一同进行清洗,可以显著提高数据和模型的质量。
- ACLNLP 实例归因方法的实证比较
本文研究了深度模型的解释性和模型调试方法,对比了不同的实例归属性方法,发现简单的检索方法与梯度基础方法类似,但计算量更小。
- FastIF:面向高效模型解释和调试的可扩展影响函数
通过引入 k - 最近邻算法、快速并行变量和逆 Hessian 向量积的配置,在不牺牲性能的情况下大大提高了影响函数的运行时间,从而为模型解释和纠正模型错误等领域提供了潜力。
- 影响函数对图神经网络的规避攻击
本研究提出了一种基于影响力的逃避攻击方法,用于攻击多层图神经网络,不需要知道其具体参数,在性能相当的情况下有 5-50 倍的速度提升。
- ICLR对抗训练的深度神经网络转移更佳:以图像分类为例
本文通过研究发现,针对新领域的迁移学习中,对于只有有限数据的情况下,通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时,对抗训练可以使学习到的表示偏向于保留形状而不是纹理,这影响了源模型的可迁移性,并且使用影响函数的方法发现迁 - 通过高阶影响函数定量测量深度学习的不确定性的鉴别式 Jackknife 方法
本论文描述了如何利用模型损失函数的影响函数构建频率学过程,以构建一种基于 Frequentist 的 Discriminative Jackknife 方法,用于估计深度学习模型的预测不确定性。实验表明,该方法相对于基于贝叶斯神经网络的方法 - ICLR深度学习中的影响函数非常脆弱
本文举行了一项大规模实证研究,详细探究了影响函数在神经网络模型中的成功和失败,在浅层网络中影响估计值相对准确,在深层网络中影响估计值通常是错误的,特定的神经网络结构和数据集,训练时使用重量减退正规化很重要以获得高质量的影响估计。
- ACL利用影响函数解释黑盒预测并揭示数据畸形
该研究探讨使用影响函数解释 NLP 模型的决策,并与基于词汇显著性的方法进行比较。该方法被发现特别适用于自然语言推理这样复杂的任务,并且还开发了一种基于影响函数的新的定量衡量方法,可以揭示训练数据中的人为制品。
- 带有隐藏变量的图模型中因果效应的半参数推断
本文提出了针对单个处理和单个结果涉及种类繁多的隐藏变量有向无环图的人口水平因果效应的 influence function-based 估计器以及重要类别的隐藏变量 DAG,该类别在处理满足一个简单图形标准的情况下,生成调整和前门函数,同时