- 深度神经网络中 Fisher 信息度量及其变体的病态谱
本文研究了 Fisher 信息矩阵以及其在深度神经网络中的特性，发现其存在尺度依赖性，具有病态的特征值谱，本研究提供了 FIM 和其变体的统一视角，以便更深入地理解大规模深度神经网络对学习的作用。
- 通过抑制费舍尔信息矩阵的最大特征值来抵御对抗性攻击
提出一种通过抑制 Fisher 信息矩阵的最大特征值来防御对抗攻击的方案，添加 Fisher 信息矩阵的 trace 值到网络的损失函数中，通过实验验证其有效性和鲁棒性。
- 缓解宽神经网络病态尖锐度的规范化方法
通过量化 Fisher 信息矩阵确定的参数空间的几何，我们揭示了在深度神经网络中，批标准化作为最后一层标准化方法，对减少 Fisher 信息矩阵导致的病态锐度具有明显的贡献。
- 自然梯度下降的经验 Fisher 近似限制
本文争议了近似二阶方法和启发式算法如 Adam 之间的关系，并指出实证 Fisher 不像 Fisher 一样普遍捕捉到二阶信息，并且在简单的优化问题中，实证 Fisher 的病理可以产生不良影响。
- Task2Vec: 元学习任务嵌入
本文介绍了一种提供视觉分类任务向量表示的方法，该表示可用于推断任务及其关系的性质，并提供了独立于细节（如类标签语义的理解等）的任务的固定维度嵌入。我们还展示了该框架的实用价值以及通过学习嵌入度量来选择预训练特征提取器的简单元学习框架。选择具 - 随机深度网络的 Fisher 信息和自然梯度学习
本文通过神经动力学方法研究随机连接网络中的 Fisher 信息矩阵，证明了其为逐元素块对角矩阵并附带少量非块对角元素小量项，为 Y. Ollivier 的准对角自然梯度法提供了理论依据，并成功地推导出 Fisher 信息的逆矩阵，从而得到了 - 深度神经网络中费舍尔信息的普适统计：平均场方法
研究发现：在计算深度神经网络（DNNs）的特性时，用 Fisher 信息矩阵（FIM）是一个普遍存在的策略。我们使用随机权重和大宽度限制来研究 FIM 的渐近统计特性，并证明说大部分特征值接近于零，而其中的最大特征值则取一个巨大的值。此外， - 旋转您的网络：更好的权重合并和更少的灾难性遗忘
通过重新参数化神经网络中的 Fisher 信息矩阵，结合 Elastic Weight Consolidation 技术，实现解决序列任务学习中的灾难性遗忘问题，并在 MNIST、CIFAR-100、CUB-200 和 Stanford-4 - ICML具有主题层自适应随机梯度黎曼 MCMC 的深层潜在狄利克雷分配
针对深度离散潜变量模型中的梯度计算和步长适应问题，本论文提出了利用数据增广和边缘化技术，得到分块对角 Fisher 信息矩阵及其逆的深度潜在狄利克雷分配表示，并利用该矩阵和随机梯度马尔科夫链蒙特卡罗方法，提出了主题 - 层适应性的随机梯度里 - 相关测量噪声下的传感器选择问题
本文研究具有相关测量噪声的参数估计传感器选取问题，提出了一种优化模型，使用 Fisher 信息矩阵作为传感器选择标准并提出了一个求解方案，并将其扩展到传感器调度问题。数值结果表明该方法的有效性且说明了噪声相关性对估计性能的影响。
- 用 Kronecker 分解的近似曲率优化神经网络
提出一种名为 K-FAC 的方法来近似神经网络中的自然梯度下降，该方法基于一种高效的逆近似方法来近似神经网络的 Fisher 信息矩阵，它既不是对角线矩阵也不是低秩矩阵，与先前提出的近似自然梯度 / 牛顿方法相比，K-FAC 在高度随机的优 - 自然梯度法的新洞见和视角
探讨了自然梯度下降法作为一种二阶优化方法的性质及其在实际应用中的影响，强调了将技术如信任区域和 Tikhonov 正则化等融入实际优化器设计中的必要性。
- 基于随机梯度的估计器的渐近性和有限样本性质
本文介绍了一种隐式随机梯度下降（ISGD）算法，其通过收缩标准随机梯度下降（SGD）算法的更新步长以提高稳定性，同时不增加计算负担。通过 ISGD 算法，可以估算广义线性模型、Cox 比例风险和 M 估计量等模型的参数，并提供了它们的理论分 - 高维鲁棒 M 估计：通过近似消息传递得到渐近方差
作者使用近似消息传递算法 (AMP) 来计算 M-estimator 的操作特性，在高维极限下分析 Lasso estimator 并研究正则化最小二乘问题中出现的额外的高斯噪音。
- 高效自然进化策略
Efficient Natural Evolution Strategies (eNES) using natural gradient and Fisher information matrix increases evolution g - 单模 Lie 群上的信息论不等式
这篇论文将经典信息论中的不等式（如 de Bruijn、Fisher 和 Kullback）从欧几里得空间中的概率论推广到不可模等 Lie 群领域，并将其应用于图像重建、移动机器人信息收集等领域，同时推导出类似于经典信息论的几个不等式。