通过子集联合熵的任意集合，得到一组随机变量的联合熵的上下界，同时展现了这些不等式对拟模函数的一般新结果的特殊情况，进而得到解决组合学问题、矩阵理论、相对熵等方面的新不等式。

Dec, 2008

本文简要介绍了集中不等式的一些基本概念和相关的数学工具，以及它们在信息理论、通信和编码等领域中的应用，尤其聚焦于熵方法的相关研究。

Dec, 2012

本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

Aug, 2015

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系，引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性，并研究由这些耦合所定义的偏度量族，特别是它们与总变差距离的关系，并给出对条件熵的新的表征。

Mar, 2013

本文研究熵和信息在网络中的相关性，建立了连接性相关函数的信息理论模型，并利用其分解了元素群体对外部源的信息。

Jul, 2003

提出了一种相对于符号丰度和相似度的熵的概念，引申到信息论中的几个概念和定理的几何意义，提出了一种与 Wasserstein 距离方法相当的理论，但具有可以高效计算的闭式表达式，通过实验表明了所提出方法的广泛应用性。

Jun, 2019

本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

Nov, 2012

本篇论文研究了基于 KL 散度的复杂度度量方法，为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式，并发现这种技术可以改进一些经典结果，特别是可以导出干净的有限样本收敛界限。

Feb, 2007

利用先前研究得出的最小均方误差和费舍尔信息矩阵与信息论数量之间的联系，本文在任意信号情况下计算出该矩阵对系统任意参数的雅可比矩阵，并推导了互信息和差分熵的黑塞矩阵表达式，进一步研究了不同信道条件下互信息和差分熵的凹性质及 Costa 熵功率不等式的多元版本。

Mar, 2009