May, 2023

高维平滑熵估计：基于降维技术

PDF
TL;DR研究高斯卷积下微分熵估计的样本复杂性问题，通过使用主成分分析方法解决了在数据维度指数级增长时估计微分熵的缺陷，并提出在深度神经网络中使用低维度 PCA 方法对信息流进行研究的应用，对噪声卷积神经网络的 MNIST 分类问题进行了实验验证。
发现论文，激发创造
  • 多元熵估计的集成估计器

    本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

    Mar, 2012

  • 使用置换辅助的熵维度降低线性可扩展学习平滑低维模式

    该研究介绍了一种基于欧式平滑度作为模式质量标准的无监督熵正则化迭代优化问题，能够高效地从高维数据中提取出稀疏的、经过排列的低维平滑模式，有效地实现了降维和特征提取，且在实际应用中能够识别同时最小化破产风险的平滑转换模式。

    Jun, 2023

  • 高维高斯分布样本协方差矩阵对数行列式定律与微分熵最优估计

    本文研究了高维条件下多元高斯分布的差分熵、协方差矩阵的对数行列式的最优估计问题，建立了样本协方差矩阵对数行列式的中心极限定理，并给出了估计器的收敛率和局限性。

    Sep, 2013

  • 本地内在维度熵

    本文探讨基于数据维度和结构本身而非基于统计的方法，提出一种计算连续空间熵的测度，称作 ID-Entropy，该熵测度适合在神经网络中广泛使用，可以保留数据固有的维度信息，并在分类器和自动编码器中直接控制泛化差距的大小。

    Apr, 2023

  • 用信息论理解卷积神经网络：一个初步探索

    本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

    Apr, 2018

  • 高维情形下无需计算难度的鲁棒估计

    该研究旨在解决高维分布学习中的拜占庭敌人问题，提出了面向单高斯、超立方体上的乘积分布及其混合分布和球形高斯的分布学习的算法，并为高维数据的拜占庭敌人问题提供了一种通用的检测与纠正方案。

    Apr, 2016

  • 更好、更简单的差分隐私统计估计下界

    通过指纹技术和贝叶斯方法，我们改进了高维度隐私估计的下界。我们提出了计算高斯协方差和重尾分布均值的样本数量下界，并与先前工作的结论进行了比较。

    Oct, 2023

  • 使用抗噪扩散谱熵评估神经网络训练过程中的表示

    我们通过利用数据几何形态来计算熵和互信息，从而可靠地评估高维数据中的学习过程，证明其在分类网络中的增长和影响。

    Dec, 2023

  • 大型复杂高斯混合分布的熵计算

    本文提出了一种新方法，利用球解码概念来计算高斯混合分布的熵，以降低复杂度并提高准确性；此外，我们还提出了一种基于信噪比区域的近似方法，可进一步降低复杂度。通过基于蒙特卡罗模拟的实验，本文所提出的方法成功地计算了包含熵项的相互信息，适用于二进制以及二次幅度调制（QAM）输入等通信应用中的各种信道。

    Feb, 2015

  • 通过 $k$- 最近邻距离高效估算多元熵

    本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。

    Jun, 2016