- FisherRF: 使用 Fisher 信息进行辐射场的主动视图选择和不确定性量化
通过利用 Fisher 信息,本研究提出了一种在没有地面真实数据的情况下,有效地量化 Radiance Fields 中的观察信息,用于最佳视角选择和像素级的不确定性量化,克服了现有模型架构和有效性方面的限制,在视角选择和不确定性量化方面取 - 应用奥恩斯坦 - 乌伦贝克过程理解去噪扩散概率模型及其噪声计划
研究论文简述:本文表明,在观测到非均匀采样离散时间时,非均匀离散时间马尔可夫过程中的去噪扩散概率模型(DDPM)可以通过具有时间均匀性的连续时间马尔可夫过程来表示。我们使用其解析解建立了 DDPM 与已知的研究广泛的 Ornstein-Oh - 类别学习所引发的神经几何信息论研究
通过信息论方法,本文研究了类别学习引发的表示效率问题,并提出了相应的解决方案。研究结果表明,最小化编码成本等价于最大化类别集合与神经活动之间的互信息,而该互信息可通过两个项的求和来刻画。此外,通过数值实例展示了编码神经群体的 Fisher - 机器学习相变:与费舍尔信息的关联
机器学习技术用于检测相变已经被广泛使用并取得成功,但其工作原理和基本限制仍然不清楚。本研究使用信息几何学的工具,通过将流行的机器学习相变指标与信息论概念联系起来,解释了其内部工作原理,并确定了潜在的失效模式。我们证明了几个机器学习相变指标从 - Fisher 屏蔽下的遗忘
通过使用 Fisher 信息的新掩码策略,在不需要任何微调的情况下,该方法能够几乎完全取消学习,同时保持大部分数据的性能,相对于其他取消学习基准测试还表现出更强的稳定性。
- 工作信息论者的信息几何学
信息几何是从几何的角度研究统计流形,即概率分布空间的研究。本文概述了信息几何的基本概念,并介绍了在统计流形上的距离、散度以及最近的信息几何发展方向。
- 具有费舍尔信息速率的有限样本对称均值估计
本文介绍了使用 Fisher 信息进行对称分布均值估计的一种方法,并给出了收敛到亚高斯分布的有限样本保证。
- 摊销贝叶斯推断的对抗鲁棒性
研究了 Bayesian 推断中一种新的方法 —— 摊销贝叶斯推断的鲁棒性,提出了一种基于 Fisher 信息的正则化方案,实验结果表明该方案可以提高模型对干扰攻击的抵抗力。
- 使用费舍尔信息界定保护隐私的实例编码的可逆性
本文提出了一种理论上合理的基于 Fisher 信息的个体编码隐私度量方法,并通过理论和经验证明了该方法可以简单应用来限制编码的可逆性,为底层的 ML 应用程序提供有限的隐私风险。
- 使用计划化解冻提高适配器为基础的跨语言转移的泛化能力
本文旨在通过实验证明一种新的算法(逐步解冻算法),可以提高适配器跨语言迁移的泛化性能,通过分析 Fisher 信息表明,这与标准微调产生了不同的学习动态和跨语言泛化性能的相关性。
- AAAI探索脉冲神经网络中的时间信息动态
本文通过估算 SNN 中权重的 Fisher 信息在训练期间的分布来回答了几个基本问题,发现时间信息浓缩现象是 SNN 的一个普遍的学习特征,并提出了一种基于该现象的高效迭代剪枝方法。
- 增强尖锐度感知最小化:一种稀疏扰动方法
本文介绍了 Sparse SAM 的有效训练方案,通过使用二进制掩码获取稀疏掩码,基于 Fisher 信息和动态稀疏训练提供了两种解决方案,理论上证明了 Sparse SAM 可以以相同的速度收敛,既有潜力加速训练,又可以有效平滑损失地形。
- 通过费舍尔信息和信息论量统一主动学习和主动采样方法
本文回顾了贝叶斯最优实验设计的基础,并表明被称为期望信息增益或 BALD 的预测和模型参数之间的互信息以及被称为预测信息增益的获取候选和测试样本之间的互信息可以作为信息理论量的近似,提出了一种连接所谓分歧文献的统一框架。
- ICLR加权低秩分解语言模型压缩
提出了一种基于 Fisher 信息的 SVD 压缩方法(FWSVD),它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题,该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。
- Fisher SAM:信息几何和锐度感知的最小化
本文提出了一种名为 Fisher SAM 的新方法,通过使用 Fisher 信息中的椭球替代 Euclidean ball 来定义邻域,提高了 neural network 的准确性,应用于多个 benchmark datasets。
- ICML参数贝叶斯学习博弈中 Shapley 值的收敛性
研究合作博弈理论中测量贡献的古典问题,借助贝叶斯学习博弈模型以及 Shapley 值计算方法,探索了 Shapley 值在该模型中的收敛性及其应用,提出了一种渐近 Shapley 公平的在线协作学习框架,并通过实验验证了效果。
- 自然语言理解中无需超参数的领域分类连续学习
本文提出了一个基于 Fisher 信息和动态权重合并的超参数自由连续学习模型来解决领域分类中的问题,并在实验中证明其在各种情况下可以稳定地产生高性能。
- 量子神经网络的威力
本文使用信息几何工具,定义了量子和经典神经网络的表达能力,将有效维度作为证明表达能力的新广义边界,并建立了一个强大的表达能力度量。我们展示了量子神经网络能够比相似的经典神经网络实现更好的有效维度,并因其更均匀分布的 Fisher 信息谱而显 - 局部差分隐私下的费舍尔信息
本研究提出了描述在局部差分隐私限制下,统计样本的费舍尔信息如何随隐私参数 ϵ 缩放的数据处理不等式,证明了这些不等式对于所有隐私水平 ϵ>0 的高斯位置模型和离散分布估计都具有高阶匹配的平方ℓ2 误差的隐私机制和估计器。
- ICML信息论的局部极小值特征和正则化
本文提出基于观测到的 Fisher 信息的指标,既可以强烈地指示本地极值的通用性,又可以作为实用正则化器有效地应用,经过理论和实验分析证明该方法成功地捕捉和改善了深度神经网络的泛化能力。