本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

Apr, 2018

本文总结并将现有的信息论依赖度量的主要思想推广到更高层次的透视图，并基于此提出了两种测量依赖性的新方法，分别是基于矩阵的归一化总相关量和基于矩阵的归一化双重总相关量，用于量化多变量在任意维度空间中的交互依赖关系，同时探究其在基因调控网络推理、机器学习、异常值检测以及卷积神经网络学习动态等四个问题中的应用，以此展示其实用性、优点和意义。

Jan, 2021

本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

Nov, 2012

本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

Sep, 2019

本文基于无限可分矩阵提出了信息论学习的框架，构建了基于 Renyi 公理定义熵的正定矩阵熵 - like 函数，并提出了无限可分的概念。通过矩阵表示的条件熵推导出一种监督指标学习算法，实验结果可与现有技术媲美。

Jan, 2013

该论文提出了一种基于信息理论的方法，使用内核化的 Renyi 熵刻画了随机梯度下降算法的学习效率，实现了更紧密的泛化误差界限。

May, 2023

通过信息论和几何原理，我们引入了矩阵熵作为一种新的度量标准，以量化大型语言模型中的数据压缩能力，展示其在单模态和多模态设置中的适用性，并发现它可以作为传统损失缩放定律的补充。同时，我们基于矩阵熵提出了一种评估方法，用于评估对齐质量，并发现现代大型多模态模型表现出良好的对齐性能。

Jan, 2024

本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

Mar, 2012

我们介绍了基于矩阵的 Renyi 的 α 阶熵函数来用神经网络参数化 Tishby 等人的信息瓶颈原理，并将我们的方法称为深度确定性信息瓶颈。我们证明，使用 DIB 训练的深度神经网络在泛化性能和对抗性攻击的鲁棒性方面优于变分目标和其他形式的正则化训练的网络。

Jan, 2021

利用先前研究得出的最小均方误差和费舍尔信息矩阵与信息论数量之间的联系，本文在任意信号情况下计算出该矩阵对系统任意参数的雅可比矩阵，并推导了互信息和差分熵的黑塞矩阵表达式，进一步研究了不同信道条件下互信息和差分熵的凹性质及 Costa 熵功率不等式的多元版本。

Mar, 2009