研究计算基于观测边际的离散对象的最大熵分布的问题，研究表明在一般条件下存在着多项式大小的描述，给出了一些关于近似计算和计数最大熵分布的算法，并且阐明了计算最大熵分布和计算数量之间的等价性。

Apr, 2013

该研究简要介绍了经典和量子信息理论中的基本概念，例如 Shannon 熵，von Neumann 熵，互信息等，并在量子情况下考虑一些更详细的主题。

May, 2018

本文将信息熵的概念自然地扩展到含一个离散和一个连续随机变量的混合 - 对随机变量，并获得了混合离散和连续随机变量下熵不变的充分条件。因此，可以推断这个框架可以用于建立复杂过程的概率性质，如负载平衡系统、排队网络、缓存算法，同时基于此还可以获得连续时间马尔可夫链的熵率等。

Jul, 2006

研究了用于离散非度量空间上学习未抽样概率分布的流行的近均匀（狄利克雷）先验的特性，并显示它们会导致灾难性的结果。然而，奥坎样式的相空间参数扩展了先验概率成为无限混合，并解决了大部分观察到的问题。这导致了对于离散分布熵的令人惊讶的良好估计。

Aug, 2001

本文介绍了在数据是从离散概率分布抽取的有限样本时，对熵和其他函数的估计器，尤其是当概率分布为联合分布时，我们提出了对该概率分布的互信息、协方差和卡方函数的有限样本估计器。

Mar, 1994

通过解决 Talagrand 的熵问题，我们证明了：每个有界函数类的 L_2 覆盖数都与其 shattering 维度成指数关系。这扩展了 Dudley 关于 {0,1} 函数类的定理，对于这些函数，shattering 维度是他们的 Vapnik-Chervonenkis 维度。在凸几何中，这意味着凸体 K 的熵可以由其坐标投影中包含的固定边长的立方体的最大维度控制。该理论有很多后续影响，包括 Elton 的最优定理以及实值情况下统计中心极限定理的估计。

Mar, 2002

提出了一种相对于符号丰度和相似度的熵的概念，引申到信息论中的几个概念和定理的几何意义，提出了一种与 Wasserstein 距离方法相当的理论，但具有可以高效计算的闭式表达式，通过实验表明了所提出方法的广泛应用性。

Jun, 2019

本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系，引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性，并研究由这些耦合所定义的偏度量族，特别是它们与总变差距离的关系，并给出对条件熵的新的表征。

Mar, 2013

本文给出了当函数 f 不是一对一关系时 H (f (X)) 的紧密下界，并且当只知悉极大和极小概率之间比率的限制时，获得了概率分布熵的下界，该下界已经超越了文献中的先前结果，并且它在本文中的几种情形下有实际应用。

Dec, 2017

本论文详细介绍了针对离散分布的 Shannon 熵估计器的一些估计方法，适用于 N 个样本点分布到 M 个箱中，其中 N 和 M -> oo，但 N/M < oo，高采样区域（每个箱子 <<1 个点）具有指数级小的偏差，低采样区域的误差增加，但仍远小于大多数其他估计器。其中一个优势是我们的主要估计器通过解析方法得到，偏差有明确已知的解析公式。

Jul, 2003