differential entropy | BriefGPT

关键词differential entropy

搜索结果 - 9

REMEDI：改进神经熵估计的纠正变换
通过简单、自适应的基模型的最小化和相对熵的估计，REMEDI 实现了高效且准确的差分熵估计方法，提升了信息论相关任务的准确性，并且在信息瓶颈方法中表现出更好的精度。
PDF5 months ago
高维平滑熵估计：基于降维技术
研究高斯卷积下微分熵估计的样本复杂性问题，通过使用主成分分析方法解决了在数据维度指数级增长时估计微分熵的缺陷，并提出在深度神经网络中使用低维度 PCA 方法对信息流进行研究的应用，对噪声卷积神经网络的 MNIST 分类问题进行了实验验证。
PDFa year ago
ICML训练神经网络的差分熵估计器
介绍了一种全参数化、可微分的基于核的差分熵估计器 KNIFE，可以在神经网络训练中作为正则化器，通过大量实验证明了 KNIFE 的有效性。
PDF2 years ago
最近邻信息估计器具有自适应接近极小最大速率最优性
本文对 Kozachenko-Leonenko 估计器在扭曲空间中的微分熵进行了分析，提出了首个关于其性能的均匀上界估计和新的极小化下界估计，并且证明了 KL 估计器在不考虑 H"older 球的平滑参数时，可以达到极小化速率，成为第一个可
PDF7 years ago
具有应用的对数凹随机向量差分熵下限
通过使用凸几何的工具，我们对于具有对数凹形的随机变量 X 的微分熵进行了下界估计，并导出了一些反熵功率不等式，从而得到了一个具有显式常数的下界，并提出了关于速率失真函数和信道容量的新的估计方法。
PDF7 years ago
一类分布的微分熵存在性和连续性
本文探讨了一类绝对连续概率分布，证明它们在总变差距离度量下的微分熵是一致收敛的，并且这类概率分布的要求可轻易验证。
PDF7 years ago
MMShannon 下界是渐近紧密的
本文研究了 Shannon 下界与速率失真函数之间的关系，证明在所有有限差分熵和整数部分的源情况下，随着允许失真趋近于零，Shannon 下界与速率失真函数之间的差距趋近于零；反之，如果源的整数部分具有无限的熵，则其速率失真函数对于每个有限
PDF9 years ago
熵的 Wasserstein 连续性与干扰通道外界
在合适的正则条件下，表明差分熵和 (离散) Shannon 熵分别是关于二次 Wasserstein 距离和 Ornstein 的 $ar d$- 距离的分布的 Lipschitz 函数，结合 Talagrand 和 Marton 的运输
PDF9 years ago
高维高斯分布样本协方差矩阵对数行列式定律与微分熵最优估计
本文研究了高维条件下多元高斯分布的差分熵、协方差矩阵的对数行列式的最优估计问题，建立了样本协方差矩阵对数行列式的中心极限定理，并给出了估计器的收敛率和局限性。
PDF11 years ago