该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。

Jun, 2016

本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。

Jun, 2016

本文提出了一种新的，适用于离散 - 连续混合情况的相互信息估计器，并通过数值实验证明了该估计器的优越性。

Sep, 2017

本文介绍了基于 $k$- 最近邻距离的熵估计的改进互信息估计器类别，并说明了它们与现有算法的比较和实际应用中的有效性。

May, 2003

本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

Mar, 2010

本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

Mar, 2012

本文通过对 M 个密度估计器进行聚合过程来证明其最优性，并针对 KL 距离、Hellinger 距离和 L1 距离类型的模型选择估计器证明了下限，其中 KL 距离的下限可以通过 Yang (2000) 等人建议的在线估计获得。这些结果的结合使我们确认了对于采样量 n，ln (M/n) 是按照 Tsybakov (2003) 的意义下的最优聚合速率。

Mar, 2006

本文提出了一种可以在多项式时间内确定高斯混合分布的组成部分的算法，其核心是 “距离集中” 结果，使用等周不等式，它们建立了根据混合分布生成的两个点之间的距离的概率分布的界限，同时还形式化了将高斯混合拟合到非结构化数据的最大似然问题。

Mar, 2005

本研究考虑了独立采样数据的公共平均值估计问题，提出了一种估计器，它能够适应数据异质性的水平，在 i.i.d. 和某些非同质​​​​​​​的设置下均达到近似最优，其估计器既考虑了传统统计学中的模态区间、shorth、中位数估计器，又利用了新型经验过程理论结果，在多元估计和回归的情况下，我们提出了可在多项式时间内运行的估计器版本。

Jul, 2019

本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系，引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性，并研究由这些耦合所定义的偏度量族，特别是它们与总变差距离的关系，并给出对条件熵的新的表征。

Mar, 2013