Sep, 2022

部分信息分离揭示神经表现的结构

PDF
TL;DR研究神经网络结构中信息的表达方式，引入了 “表征复杂度” 的概念，该概念基于信息论延伸，并测量了从多个神经元中访问信息的难度。 最终，作者将表征复杂度作为一种可解释性的统计量，用于分析神经表征的结构。
neural networksinformation theoryrepresentational complexitymnist taskstructure of neural representations
发现论文，激发创造
  • 依赖关系约束实现独特信息

    该研究开发一种基于新方法量化唯一信息的分解方法，并使用该方法对适用范围广泛的依赖分解法进行定义和衡量，从而首次提出了满足 PID 框架核心公理且不满足 Blackwell 关系的度量方法，为实现 PID 提供了重要进展。

    Sep, 2017

  • 估计连续变量的唯一信息

    这篇论文提出了一种在持续型分布下估算唯一信息的方法，通过对联合分布进行协同分解和应用与变分自编码器优化技术相结合的方法，为 PID 领域提供了新的研究视角。

    Jan, 2021

  • 信息形态网络：基于部分信息分解导出的本地学习神经网络

    本文提出了一种新型的模型神经元，通过优化抽象本地信息处理目标模拟生物神经元的功能特征，并且提出了一种相应的参数本地学习规则作为神经网络的基础，称为 “infomorphic 网络”，通过利用 PID 框架的解释能力和可解释性，这些 infomorphic 网络代表了一种有价值的工具来推进我们对皮层功能的理解。

    Jun, 2023

  • 数据解释性和特征选择的部分信息分解

    本文介绍了 Partial Information Decomposition of Features（PIDF），一种同时实现数据可解释性和特征选择的新范式。相较于传统方法，我们的方法基于每个特征的三个度量值：与目标变量的相互信息、特征对协同信息的贡献以及冗余信息的数量。我们根据这三个度量值开发了一种新的程序，不仅揭示了特征与目标的相关性，还考虑了特征与其他特征的组合所提供的额外和重叠信息。我们广泛评估了 PIDF，使用了合成和真实数据，并通过遗传学和神经科学领域的案例研究展示了其潜在应用和有效性。

    May, 2024

  • 使用部分信息分解量化偏倚数据的虚假性

    本文首次提出使用部分信息分解 (PID) 数学框架对数据集中的伪关联进行信息论的形式化定义，并通过计算独特信息来量化数据集的伪关联，研究了伪关联对模型的影响以及针对伪关联的数据处理技术的效果。

    Jun, 2024

  • 利用部分信息分解统一观点下的群体公平性权衡

    这篇论文介绍了一种新颖的信息论视角，探讨了机器学习中著名的群体公平性概念之间的关系，即统计平衡、平等几率和预测平衡。通过利用信息论中称为部分信息分解（PID）的工作，我们准确阐明了这三个 (不) 公平性度量之间的精确关系，并确定了它们重叠和相互矛盾的细节区域，从而引发了潜在的权衡。我们还包括了数值模拟来补充我们的结果。

    Jun, 2024

  • 量化与建模特征交互：一种信息分解框架

    该研究提出了一种信息熵方法，可以量化多模态分布中输入特征之间的冗余、独特和协同作用，以帮助模型选择和应用。

    Feb, 2023

  • 多元高斯偏差缺失的部分信息分解

    本文提供了一种用于多维高斯变量的双变量 PID 的近似计算的凸优化框架，基于缺陷的统计概念，通过假设简化的高斯情况，我们提供了一种有效的算法，可以在只有几十个或甚至数百个维度的情况下近似计算。

    May, 2021

  • 用信息论理解卷积神经网络：一个初步探索

    本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

    Apr, 2018

  • 利用机器学习进行信息分解，识别复杂系统中的相关变化

    通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

    Jul, 2023