提出了一个信息论框架，将原子尺度模拟、机器学习和统计力学结合起来，通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化，统一描述了原子尺度建模中的信息相关问题。

Apr, 2024

本文研究熵和信息在网络中的相关性，建立了连接性相关函数的信息理论模型，并利用其分解了元素群体对外部源的信息。

Jul, 2003

本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

Nov, 2012

本研究提出了一种信息理论的统计结构度量 —— 绑定信息，用于比较以往提出的度量方法。通过研究绑定信息及其与多信息的关系探讨了绑定信息在有限二元随机变量集合上的最大化及其在度量复杂性方面的应用。

Dec, 2010

该论文提出了一种名为贝叶斯互信息的新框架，它从贝叶斯代理的角度分析信息，使得在有限数据情况下处理可以帮助增加信息的同时也有可能削减信息，更加符合机器学习应用的直觉，最终将该框架运用到探针任务中，通过限制可用背景知识来实现抽取的易于性。

Sep, 2021

本研究提出一种信息论度量方法对时间演化系统间的统计相关性进行量化，通过迁移概率的适当条件化排除共同历史和输入信号对信息交换的影响，从而得到的传输熵可以区分驱动和响应元件，并检测子系统间的不对称性。

Jan, 2000

该研究论文阐述了对于正则文法的符号间互信息随符号间距离指数衰减的特性，然而对于上下文无关文法则符合幂律分布；并且将该现象与统计力学、湍流以及宇宙膨胀等领域的幂律相关性做了联系，以及阐述了这种现象在机器学习中的潜在应用。除此之外，该研究论文还提出了一种合理的互信息量的量化方式，并探讨了该现象在更复杂的贝叶斯网络中的推广。

Jun, 2016

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

研究了在隐私和效用都用互信息表示的情况下隐私和效用之间的权衡，利用可观测数据量化其中所包含的私人信息并将其连接到隐私和效用之间的最优权衡。

Oct, 2015

本文基于无限可分矩阵提出了信息论学习的框架，构建了基于 Renyi 公理定义熵的正定矩阵熵 - like 函数，并提出了无限可分的概念。通过矩阵表示的条件熵推导出一种监督指标学习算法，实验结果可与现有技术媲美。

Jan, 2013