- 无需人类注释的有益标注
该研究提出了一种利用影响函数来选择最有信息量样本和分配相关标签的自动标注方法,以替代传统的人工标注方法,并且在九个基准数据集上的实验证明了该方法在主动学习策略中的优越性能。此外,研究还对大型语言模型 (LLM) 的 fine-tuning - DataInf: 在经过认证的 LLMs 和扩散模型中高效估计数据影响力
我们提出了 DataInf,一种高效的影响力近似计算方法,可用于大规模生成型 AI 模型。通过利用易于计算的闭合形式表达式,DataInf 在计算和内存效率方面优于现有的影响力计算算法。我们的理论分析表明,DataInf 特别适用于 LoR - 通过训练概念影响来理解不公平
通过预定义的概念进行反事实干预,通过影响函数计算培训样本对模型的不公平的影响,帮助实践者理解观察到的不公平现象并修复其培训数据,从而实现检测错误标记、修复不平衡表示、检测针对公平性的污染攻击等其他应用。
- WWWGIF: 通过影响函数的通用图解除策略
本文研究了针对图上撤销作用的影响函数,提出了一种模型无关的快速而精确的节点 / 边 / 特征图上撤销方法 (Graph Influence Function, GIF),基于传统影响函数的目标,添加了一个考虑结构依赖性的损失项,进一步推导了 - 探究连续学习中的样本影响力
该研究提出 MetaSP 算法,用于控制模型更新并优化训练数据集的存储,该算法基于 Influence Function 通过计算加权示例对模型鲁棒性的影响,从而提高连续学习的稳定性和可塑性,实验结果展示其显著优于现有方法。
- ICML了解公平限制的实例级影响
本研究使用影响函数(influence function)的概念研究了在实例级别强制公平约束时,训练示例的影响,提出了一种公平性影响函数。通过排名它们的影响分数,确定可能导致模型歧视的可疑培训示例,进行了大量实验并得出结论,仅在重要数据示例 - AAAI对超参数区间中神经网络的影响函数的重新思考
本文利用神经切线核理论计算对于带拉格朗日正则化均方损失训练的神经网络的影响函数。通过理论分析,证明了在 ReLU 网络的两个层的宽度足够大时,误差可以任意小。此外,案例分析了 IHVP 方法在过度参数化区域的误差限制及其相关性。实验结果验证 - 寻找遥感监督关系抽取的有影响力实例
本文提出了一种基于影响函数 (IF) 的关系抽取 (RE) 远程监督 (DS) 方法,即 REIF,通过识别利于 / 不利于实例以进行动态实例抽样。实验表明,REIF 可以支持可解释的实例选择,并在简单架构上战胜了一系列复杂的基线模型,并且 - 多阶段影响函数
该文介绍了一种多阶段的影响力函数评分方法,可以追踪从预训练数据到各种微调任务的预测结果。该方法通过在多个阶段进行预训练和微调来达到最佳性能,并在不同情况下测试和展示了其有效性和潜在应用。
- 半监督学习中数据赋权:未标注数据的不同重要性
本文研究如何通过基于影响函数的算法来为不同的未标记样本赋予不同的权重,提出一种快速有效的影响函数逼近技术,该技术在半监督图像和语言分类任务上表现优于最先进的方法。
- WWW基于影响函数的数据毒化攻击对 Top-N 推荐系统的影响
本研究利用影响函数解决基于矩阵分解的推荐系统数据污染的问题,并通过优化问题构造一定数量的假用户,随后迫使推荐系统为普通用户推荐特定物品。该方法被证明是高效的,优于现有方法。
- ICML强化学习中有解释的离线策略评估:突出具有影响力的状态转移
本文提出了一种混合人工智能系统的方法,该方法可以通过关注数据中对 OPE 估计产生很大影响的观察点,并制定一组选择规则,使领域专家能够分析 OPE 估计的有效性。该方法可以应用在医学模拟和真实世界中的重症监护数据中,可以用于识别评估过程中的 - 理解词嵌入中偏见的起源
使用我们的方法,可以了解到 word embedding 偏差的起源,并找出删除哪些文档可以最大程度地降低偏差。我们在《纽约时报》和 Wikipedia 语料库上演示了我们的技术,并发现我们的影响函数近似非常精确。
- NIPS从不完整观测学习影响函数
该研究探讨感染函数学习问题在节点激活的不完整情况下。不完整观测是一个主要问题,因为大多数(在线和现实世界中的)社交网络不是完全可观测的。该研究通过在修改后的图中将不完整观测转化为完整观测,从而建立了离散时间线性阈值和离散时间独立级联模型的适 - 一种面向图像数据和视频的方向离群度度量方法
本论文介绍了一种新的方向异常测量标准,Directional Outlyingness(DO)用于探测函数数据中的异常点,并应用于光谱、MRI 影像和视频监控数据中。
- 半参数估计量的影响函数
本文研究非参数化的初步步骤对于许多有用参数的影响以及如何利用影响函数分析局部政策、构建机器学习估计器、进行效率比较和制定渐近正态的基本规则。研究发现影响函数是一个门托导数,我们给出了满足外生或内生正交条件的初步步骤的影响函数。最后,这项研究