本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。
Nov, 2012
本文研究了估算离散k字符分布的Renyi熵需要的样本数量，并通过近似多项式的方法，将非整数阶数的复杂度降低至近似于k的线性，而整数阶数的复杂度仅需k的1-1/α次方个样本，并给出了一些难以区分的具有不同Renyi熵的分布的显式构造。
Aug, 2014
本文研究了基于$KSG$估计的互信息估计中，样本数对偏差收敛速度的影响，发现了$KSG$估计器的优越性能来源于“相关性提升”效应，并通过改进$KSG$估计器构建出更优秀的估计器。
Apr, 2016
提出了新的图论解释下的直接估计方法，用于估计Renyi和f-divergence的度量。通过对Y中k-NN方案点和X中点数之间的平均功率进行估计，可以获得两个密度之间的Renyi divergence估计值，并且这种方法可以用于估计f-divergence度量。通过使用加权合成估计技术，该方法可以用于具有连续和有界导数的密度函数的估计，其能够获得参数MSE率O(1/N)。
Feb, 2017
本文提出了一种新的，适用于离散-连续混合情况的相互信息估计器，并通过数值实验证明了该估计器的优越性。
Sep, 2017
本文证明了任何互信息测量方法都有严重的统计限制，证明了从N个样本估计的任何分布自由、高置信度的互信息的下限均不能超过O(ln N)。
Nov, 2018
本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。
Jun, 2020
本文提供了针对现代统计估计的改进的隐私保护算法和通信效率算法，包括用于估计分布熵的算法和用于通信效率估计基尼熵的算法，并基于现有最佳算法推广了一种用于碰撞熵估计的算法，满足局部差分隐私。
May, 2023
本研究提出了一种结合判别性和生成性方法的变分界的估算方法，我们进一步提出了一种名为PQ的简单生成方法，可以与判别性估计器轻松结合，可以在高维高斯分布和随机过程数据上实现更紧凑的互信息估计。
Jun, 2023
本研究解决了互信息估计中存在的困难问题，提出了一种新的估计方法。关键发现是，通过初步估计数据分布，可以显著提升互信息的估计准确性。实验结果表明，该方法在多项任务中具有明显优势，包括非高斯合成问题和现实应用。
Aug, 2024