用 Boltzmann 影响函数衡量随机数据复杂性

Jun, 2024

用 Boltzmann 影响函数衡量随机数据复杂性

Measuring Stochastic Data Complexity with Boltzmann Influence Functions

Nathan Ng, Roger Grosse, Marzyeh Ghassemi

TL;DR用 IF-COMP 方法，通过温度缩放的玻尔兹曼影响函数来线性化模型，从而实现对测试点的可靠性校准和复杂度测量，提供准确的预测、复杂度和误标记检测等功能。

Abstract

Estimating the uncertainty of a model's prediction on a test point is a crucial part of ensuring reliability and calibration under distribution shifts. A minimum description length approach to this problem uses the predictive normalized maximum likelihood (pNML) distribution, which con

uncertainty estimation predictive normalized maximum likelihood if-comp calibration mislabel detection

发现论文，激发创造

最小概率流学习

本文提出了一种新的参数估计技术，该技术无需计算不可处理的归一化因子或从模型的平衡分布中采样，通过建立动态算法将观测到的数据分布转化为模型分布，并通过使得数据分布与运行该动态算法的分布的 KL 散度最小化来进行优化，在 Ising 模型等情况下展示比当前先进技术更快的学习效率和更低的误差。

Jun, 2009

关于测量离散概率神经网络的校准

使用条件核平均嵌入测量标定差异，以提高机器学习模型的不确定性量化，并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力，并计划用于更复杂的应用。

May, 2024

FastIF：面向高效模型解释和调试的可扩展影响函数

通过引入 k - 最近邻算法、快速并行变量和逆 Hessian 向量积的配置，在不牺牲性能的情况下大大提高了影响函数的运行时间，从而为模型解释和纠正模型错误等领域提供了潜力。

Dec, 2020

基于离线模型的正态化最大似然估计优化

本文提出了在数据驱动的优化问题中利用归一化极大似然估计器解决不确定性和变化范围问题的方法，并通过在各个领域（如化学、生物学和材料工程）的高维设计问题中进行的实验验证了该方法的有效性。

Feb, 2021

通过广义影响函数深入理解黑盒预测

通过使用广义的影响函数进行参数分析，并采用鲁棒的逆 - Hessian - 向量积逼近方法解决计算不稳定性，我们提出了一种可在各种人工智能领域中用于模型分析的多功能工具。

Dec, 2023

通过影响函数在规模上近似实现全面的共形预测

本文介绍了使用影响函数来高效近似全面的相合预测方法。该方法是全面相合预测的一种一致性逼近，并能比主流的方法更有效地缩放。

Feb, 2022

深度 pNML：深度神经网络的预测性归一化最大似然

研究了深度神经网络模型类中预测归一化极大似然（pNML）方案及其相关可学习性度量，发现在对抗攻击方面具有鲁棒性，可用于检测样本类别分布不均、噪声标签等情况，且可作为基准学习者竞争的学习器生成 “两次通用” 的解决方案。

Apr, 2019

对超参数区间中神经网络的影响函数的重新思考

本文利用神经切线核理论计算对于带拉格朗日正则化均方损失训练的神经网络的影响函数。通过理论分析，证明了在 ReLU 网络的两个层的宽度足够大时，误差可以任意小。此外，案例分析了 IHVP 方法在过度参数化区域的误差限制及其相关性。实验结果验证了理论分析的正确性。

Dec, 2021

深度神经网络的信息瓶颈分析通过有损压缩

该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

May, 2023

逻辑回归估计的样本复杂度

透过研究样本复杂度，我们发现逻辑回归模型的参数估计受到维数和逆温度的影响，其样本复杂度曲线在逆温度上具有两个临界点，明确地分割低、中、高温度区间。

Jul, 2023