May, 2014

信息论估计工具箱

PDF
TL;DR该研究介绍了 ITE，一款免费且开源的 Matlab/Octave 工具箱，能够在多个平台上估算熵、互信息、差异、关联度、交叉量和分布内核的多种变体。该工具箱支持多种估算技术的组合，并可轻松构建和嵌入新的信息理论估算器，并可立即应用于信息理论优化问题中。此外，ITE 还包括一个原型应用，它能够在信号处理中自主分析子空间等领域得到扩展的核心问题类中应用。
发现论文，激发创造
  • 利用无限可分核从数据中测量熵

    本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

    Nov, 2012

  • 用先验引导随机搜索算法优化综合信息

    本文介绍了一个随机搜索算法来优化意识的一个定量测量标准 phi，并给出了一些增强搜索算法的特定研究线路。

    Dec, 2022

  • 超越常规：互信息估计评估

    本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

    Jun, 2023

  • 信息论统一微观机器学习、不确定性量化和材料热力学

    提出了一个信息论框架，将原子尺度模拟、机器学习和统计力学结合起来，通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化，统一描述了原子尺度建模中的信息相关问题。

    Apr, 2024

  • GAIT: 信息论的几何方法

    提出了一种相对于符号丰度和相似度的熵的概念，引申到信息论中的几个概念和定理的几何意义，提出了一种与 Wasserstein 距离方法相当的理论，但具有可以高效计算的闭式表达式，通过实验表明了所提出方法的广泛应用性。

    Jun, 2019

  • REMEDI：改进神经熵估计的纠正变换

    通过简单、自适应的基模型的最小化和相对熵的估计，REMEDI 实现了高效且准确的差分熵估计方法，提升了信息论相关任务的准确性，并且在信息瓶颈方法中表现出更好的精度。

    Feb, 2024

  • 用信息论理解卷积神经网络：一个初步探索

    本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

    Apr, 2018

  • 在大型网络中估计互信息和多信息

    提出了一种在大型网络中估计信息关系的实用方法，可以可靠地估计互信息和多个信息项，并通过基因表达、金融市场和消费者偏好等领域的分析加以说明。

    Feb, 2005

  • 估计互信息

    本文介绍了基于 $k$- 最近邻距离的熵估计的改进互信息估计器类别，并说明了它们与现有算法的比较和实际应用中的有效性。

    May, 2003

  • 基于互信息的非参数独立性检验

    提出了一种称为 MINT 的新方法，该方法基于互信息的估计，并使用从最近的邻居距离导出的有效熵估计器，从而便于将互信息分解为联合和边际熵，用于检验两个多变量随机向量的独立性，并可将其扩展为基于测量协变量向量与误差向量独立性的新正态线性模型是否适配的卡方检验，并在模拟和真实数据上进行了数值研究。

    Nov, 2017