利用梯度方差估计示例难度

CVPRAug, 2020

Estimating Example Difficulty Using Variance of Gradients

Chirag Agarwal, Daniel D'souza, Sara Hooker

TL;DR该论文提出了一种名为 VoG 的评估指标，可以通过评估模型求解困难样本，从而实现模型的可解释性和泛化性能，并在数据样本的噪声和记忆样本方面得到应用。

Abstract

In machine learning, a question of great interest is understanding what examples are challenging for a model to classify. Identifying atypical examples ensures the safe deployment of models, isolates samples that require further human inspection and provides interpretability into model

machine learning challenging examples variance of gradients human-in-the-loop auditing out-of-distribution detection

发现论文，激发创造

VarGrad: 变分推断的低方差梯度估计器

本文提出了一种基于 VarGrad 的无偏梯度估计方法，在概率变分推断中应用较广，并证明其比分数函数方法具有更低的方差和更优秀的计算性能。

Oct, 2020

高效语言数据抽样的规模化影响分数

应用影响力分数评估语言分类任务，通过修剪训练数据来量化准确性变化，并提供基于分数采样的建议，以提高准确性和训练效率。

Nov, 2023

梯度相似性数据评估

通过梯度相似性进行数据估值的方法在识别低质量数据方面表现出良好的效果，并能减少对专业知识和手动干预的需求。

May, 2024

数据集难度与归纳偏差的作用

通过对随机和受控因素的比较，我们发现例子排名在不同的训练运行、评分方法和模型架构间存在很大的一致性。同时，我们还开发了一种简单的方法来使用一些敏感的例子对模型架构进行指纹识别。这些发现指导从业者在最大化评分一致性方面（例如通过选择适当的评分方法、运行次数和例子子集）并为将来评估评分建立全面的基准。

Jan, 2024

通过方差调整增强对抗攻击的可转移性

在攻击模型的黑盒情况下，特别是在有防御机制的情况下，传统的对抗攻击往往会表现出弱的可迁移性。本文提出了一种新的名为方差调整的方法来改善梯度攻击的可迁移性，并在标准 ImageNet 数据集上证明了该方法的有效性，成功率平均提高了 85.1％。

Mar, 2021

分布式重要性采样在 SGD 中的方差减少

该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

Nov, 2015

探测野外分布移变的梯度重要性

本文提出了一种名为 GradNorm 的基于梯度空间的方法，通过利用从梯度空间提取的信息来检测异常数据，可以降低平均误警率（FPR95）高达 16.33％，相对于现有最佳方法效果更好。

Oct, 2021

GIO：梯度信息优化的训练数据集选择

Gradient Information Optimization（GIO）是一种高度可扩展的、任务不可知的数据选择方法，可在仅需要一小组代表目标分布的（未标记的）示例的情况下，训练具有优秀结果的模型。

Jun, 2023

探索视觉文本生成中的样本方差：评估与观察

本文探讨了视觉化语言生成中的一个重要问题：多个参考数据集的样本方差如何影响模型性能，通过对几个多重参考数据集和相应的视觉语言任务进行实证研究，结果表明在实验中报告多样性是最重要的，而 CIDEr 的评价指标相对于其他指标来说具有更大的样本方差，这些研究指导了未来可靠数据集的设计。

Oct, 2020

主动偏置：通过强调高方差样本训练更准确的神经网络

本文提出基于样本不确定性轻量级估计的两种改进型随机梯度下降算法：SGD 迭代中正确类别预测概率的方差和与决策阈值的正确类别概率的接近度来重新加权训练样本，实验结果表明我们的方法可靠地提高了各种网络结构的精度，包括残差学习、动量、ADAM、批量标准化、丢弃和蒸馏等其他流行的训练技术所不能达到的额外收益。

Apr, 2017