提出了新概念 troenpy，用于量化概率分布的确定性，以替代熵的应用，泛用于机器学习中，尤其在文本分类和序列数据处理方面表现突出。同时定义了量子 troenpy 以量化量子系统的确定性。

Apr, 2023

本文提出了一种基于 Shannon 熵的文档分类模型，该模型采用丰富信息和均匀多样的关键词匹配，在无需任何正样本的情况下提供了一种简单且可解释的解决方案，并展示了 Shannon 熵显著提高了召回率的能力。同时，该模型还表现出更强的鲁棒性和适应性，尤其是在正样本数量非常有限的情况下。

Jun, 2022

本文提出了一种基于信息理论的聚类方法，通过该方法聚类结果的熵载荷能够最大化，避免了需要预设特定参数的问题，可用于图像分割、对象分类等领域，也可作为无监督学习的基础。

Sep, 2022

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

本研究提出一种信息论度量方法对时间演化系统间的统计相关性进行量化，通过迁移概率的适当条件化排除共同历史和输入信号对信息交换的影响，从而得到的传输熵可以区分驱动和响应元件，并检测子系统间的不对称性。

Jan, 2000

这篇论文扩展了之前的笔记，阐述了加权熵的概念及其与 Fisher 信息不等式、熵能不等式和 Lieb 分裂不等式的关系，并讨论了关于加权熵和信息速率的概念。

Oct, 2017

本文探讨了 Shannon 信息在经典概率分布中衡量不确定性的特点，请出了三方信息的 Bayesian 网络表示和量子实现，并展示了非 Shannon 信息不等式方面的新洞见。

Jun, 2022

本文提出了一种基于证明的信息量度量方法，该方法以涉及待证公式的可能证明集合（即 “知识库”）定义概率度量，使用熵的方法计算信息量。

May, 2022

本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

Apr, 2018

本文介绍了如何将信息论的关键概念推广到网络中，定义了网络集合的香农熵并解释了其与网络集合的吉布斯熵和冯・诺依曼熵之间的关系，这为通过最大熵理论获得网络零模型解决了关键问题，并在复杂网络领域的推理问题中发挥重要作用。

Jul, 2009