Feb, 2015

大型复杂高斯混合分布的熵计算

PDF
TL;DR本文提出了一种新方法，利用球解码概念来计算高斯混合分布的熵，以降低复杂度并提高准确性；此外，我们还提出了一种基于信噪比区域的近似方法，可进一步降低复杂度。通过基于蒙特卡罗模拟的实验，本文所提出的方法成功地计算了包含熵项的相互信息，适用于二进制以及二次幅度调制（QAM）输入等通信应用中的各种信道。
发现论文，激发创造
  • 高维平滑熵估计：基于降维技术

    研究高斯卷积下微分熵估计的样本复杂性问题，通过使用主成分分析方法解决了在数据维度指数级增长时估计微分熵的缺陷，并提出在深度神经网络中使用低维度 PCA 方法对信息流进行研究的应用，对噪声卷积神经网络的 MNIST 分类问题进行了实验验证。

    May, 2023

  • 学习球形高斯混合模型：矩方法与谱分解

    本研究提供了一种计算效率高、统计一致的基于矩的混合高斯估计算法，通过简单的谱分解技术，无需额外的最小分离条件，在一般位置上获取成分均值的低阶观测矩，从而通过排除计算和信息理论方面的障碍以便混合模型的高效估计，当混合成分具有一般位置和球形协方差时，与独立成分分析相关的估计问题得到了一些联系。

    Jun, 2012

  • 私人和通信高效的熵估计算法

    本文提供了针对现代统计估计的改进的隐私保护算法和通信效率算法，包括用于估计分布熵的算法和用于通信效率估计基尼熵的算法，并基于现有最佳算法推广了一种用于碰撞熵估计的算法，满足局部差分隐私。

    May, 2023

  • 使用成对距离估算混合熵

    提出一种基于混合成分之间的成对距离函数的家族估计器，该家族具有许多优越的性质，可用于计算混合熵，并在优化最大化 / 最小化熵和互信息的问题中非常有用，例如 MaxEnt 和速率失真问题。

    Jun, 2017

  • 最大熵分布的高斯过程回归

    最大熵分布、拉格朗日乘子、高斯过程、核函数和数据驱动的最大熵闭合问题的性能研究。

    Aug, 2023

  • 通过 $k$- 最近邻距离高效估算多元熵

    本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。

    Jun, 2016

  • 通过 EM 算法估算二元高斯混合分布中心的统计保证

    本研究拓展了 EM 算法在高斯混合模型中的应用，并通过随机初始化策略提高了统计精确度。

    Aug, 2016

  • 高维高斯分布和高斯混合模型的鲁棒估计的统计查询下限

    本文提出了一种统计查询下限技术，用于解决高维学习问题中高斯分布的学习和鲁棒性学习问题，并得出了样本复杂度和计算复杂度之间存在的超多项式差距，同时提供了一个新的方法来解决一些相关的无监督估计和测试问题。

    Nov, 2016

  • GAIT: 信息论的几何方法

    提出了一种相对于符号丰度和相似度的熵的概念，引申到信息论中的几个概念和定理的几何意义，提出了一种与 Wasserstein 距离方法相当的理论，但具有可以高效计算的闭式表达式，通过实验表明了所提出方法的广泛应用性。

    Jun, 2019

  • 多元熵估计的集成估计器

    本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

    Mar, 2012