在计算限制下可用信息的理论

ICLRFeb, 2020

A Theory of Usable Information Under Computational Constraints

Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon

TL;DR本文提出了一个基于信息论的新框架，旨在解决复杂系统中的信息推理问题，该框架基于 Shannon 信息理论的变分扩展，结合了建模能力和计算限制，提出了预测 V - 信息的概念，在模型表示学习和系统结构学习方面表现优于传统的相互信息的方法。

Abstract

We propose a new framework for reasoning about information in complex systems. Our foundation is based on a variational extension of Shannon's information theory that takes into account the modeling power and computational constraints of the observer. The resulting \emph{predictive $\mathcal{V}$-information} encompasses mutual information and other notions o

predictive v-information shannon's information theory computational constraints representation learning structure learning

发现论文，激发创造

利用机器学习进行信息分解，识别复杂系统中的相关变化

通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

Jul, 2023

变分信息追求用于可解释预测

本文提出了解释算法的信息搜索策略，即 Information Pursuit (IP) 和 Variational Information Pursuit (V-IP)，利用深度网络训练策略和分类器以进行推断，且应用于医学诊断等任务中具有更优异的性能。

Feb, 2023

信息论统一微观机器学习、不确定性量化和材料热力学

提出了一个信息论框架，将原子尺度模拟、机器学习和统计力学结合起来，通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化，统一描述了原子尺度建模中的信息相关问题。

Apr, 2024

特征选择的变分信息最大化

用变分分布构建了一种信息理论框架，生成互信息的下界，是一种优化特征选择的方法，实验表明该方法在信息理论特征选择中表现出色。

Jun, 2016

复杂机器人行为的信息驱动自组织

使用预测信息作为动态系统控制器参数的推动力以实现高维机器人系统的协同控制和收敛行为。

Jan, 2013

内在动机强化学习的变分信息最大化

本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

Sep, 2015

变分玻璃限制下的信息瓶颈

本文基于信息瓶颈原理与变分分解构建了一般的框架结构，分析了现有深度生成模型（VAE，GAN 等）的基本假设与相互之间的联系，提出了新的相互信息分解方式，使得生成模型在压缩生成方面具备新的解释和洞见。

Dec, 2019

深度变分多元信息瓶颈 —— 变分损失的框架

通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

Oct, 2023

多视图数据中的共享信息发现

提出了一个创新且数学严谨的定义，用于从多视角数据中计算共有信息。利用这个定义，开发了一种新颖的监督式多视角学习框架，以捕捉共有信息和独特信息。通过明确最小化总相关性项，可以让从每个视角提取的共有信息和独特信息彼此独立，从而在理论上保证了我们框架的有效性。通过基于矩阵的 Rényi's $α$ 阶熵函数来估计信息论量，避免了在高维空间中进行变分逼近和分布估计的需求。理论证明了我们的框架可以忠实地发现多视角数据中的共有信息和独特信息。在合成数据和七个标准数据集上的实验证明了我们提出的框架优于现有方法的性能。

Jun, 2024

在大型网络中估计互信息和多信息

提出了一种在大型网络中估计信息关系的实用方法，可以可靠地估计互信息和多个信息项，并通过基因表达、金融市场和消费者偏好等领域的分析加以说明。

Feb, 2005