将指数积分和相对熵之间的对偶性推广到涉及 Renyi 离散度的指数积分的变分公式。该公式表征了由尾部行为决定的风险敏感功能和相关量的依赖于底层分布扰动的程度，以 Renyi 离散度为基础。作为应用，考虑当模型的某些方面未完全知道时的不确定性量化问题，以及使用它们来限定难以处理的模型的尾部特性。

Oct, 2013

本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

Nov, 2012

本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

May, 2019

本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系，引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性，并研究由这些耦合所定义的偏度量族，特别是它们与总变差距离的关系，并给出对条件熵的新的表征。

Mar, 2013

本文研究了核密度估计在非参数回归模型中的应用，提出了一种选取带宽参数的方法，并证明了在该条件下，估计的线性函数是渐近正态的，其渐近方差不依赖于回归函数，同时探讨了函数的光滑程度等影响估计结果的因素。

Sep, 2014

本文通过自适应插值方法和随机矩阵理论证明了 Takeda，Uda，Kabashima 和 Tulino，Verdu，Caire 和 Shamai 使用复制方法提出的公式适用于一类具有旋转不变性质的矩阵，进而超越了原有广泛应用于压缩感知和统计学的噪声线性估计问题中的 i.i.d. 矩阵假设。

Feb, 2018

本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

Aug, 2015

本文通过系统地研究这些对象和它们的积分和变分表示，识别了它们的原语，将其与成本敏感的二进制分类联系起来，阐明了生成和判别视图之间的关系，提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式，并提出了估计 f 散度的新技术。

Jan, 2009

本文回顾了贝叶斯最优实验设计的基础，并表明被称为期望信息增益或 BALD 的预测和模型参数之间的互信息以及被称为预测信息增益的获取候选和测试样本之间的互信息可以作为信息理论量的近似，提出了一种连接所谓分歧文献的统一框架。

Aug, 2022

本文研究了在具有一致稀疏图序列的随机树 T 上的同质化因子模型的自由能密度存在性，并通过新的插值方案证明了存在性并具体计算了该量。通过实例计算，我们证明了该极限与在 T 上的 Belief Propagation（Bethe）递归的适当不动点处的 Bethe 自由能函数重合。

Oct, 2011