本文提出了一个基于凸规划对偶性的新的近似方案，使用平滑的快速梯度方法来估计最大化熵的概率分布，同时满足一定数量的被噪声污染的时刻约束，进一步阐述了如何通过该方案来近似化学主方程和解决具有无穷状态和动作空间的约束马尔可夫决策过程的问题。

Aug, 2017

本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系，引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性，并研究由这些耦合所定义的偏度量族，特别是它们与总变差距离的关系，并给出对条件熵的新的表征。

Mar, 2013

本文研究了极大熵和最小化最坏期望损失之间的密切关系，证明了这两个问题是对偶的，并提供了将一种问题的解用于另一种问题的方法，同时扩展了熵的一般定义，引入了分布差异的最小化概念并建立了相应的理论。

Oct, 2004

本文介绍离散随机变量的熵的概念及其基本属性，展示通过例子如何将熵作为组合枚举工具使用，最后提出了几个开放性问题。

Jun, 2014

研究了用于离散非度量空间上学习未抽样概率分布的流行的近均匀（狄利克雷）先验的特性，并显示它们会导致灾难性的结果。然而，奥坎样式的相空间参数扩展了先验概率成为无限混合，并解决了大部分观察到的问题。这导致了对于离散分布熵的令人惊讶的良好估计。

Aug, 2001

本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

Feb, 2015

引入最大熵原理的一般化方法，应用于带有从数据中得出的经验边缘条件的分布集合，提出一种针对监督学习问题的通用 minimax 方法，其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器，并且通过实验表明可以优于其他线性分类器，同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。

Jun, 2016

本论文详细介绍了针对离散分布的 Shannon 熵估计器的一些估计方法，适用于 N 个样本点分布到 M 个箱中，其中 N 和 M -> oo，但 N/M < oo，高采样区域（每个箱子 <<1 个点）具有指数级小的偏差，低采样区域的误差增加，但仍远小于大多数其他估计器。其中一个优势是我们的主要估计器通过解析方法得到，偏差有明确已知的解析公式。

Jul, 2003

本研究探讨了 Shannon 信息度量的某些优化问题，包括在凸区域上极小化联合和条件熵（H（X，Y），H（X | Y），H（Y | X））和最大化互信息（I（X；Y）），并介绍了新（伪）度量，并证明了它们的计算是 NP-hard 的。

Jul, 2012

通过解决 Talagrand 的熵问题，我们证明了：每个有界函数类的 L_2 覆盖数都与其 shattering 维度成指数关系。这扩展了 Dudley 关于 {0,1} 函数类的定理，对于这些函数，shattering 维度是他们的 Vapnik-Chervonenkis 维度。在凸几何中，这意味着凸体 K 的熵可以由其坐标投影中包含的固定边长的立方体的最大维度控制。该理论有很多后续影响，包括 Elton 的最优定理以及实值情况下统计中心极限定理的估计。

Mar, 2002