光谱非线性建模中相关变量选择的互信息

Sep, 2007

光谱非线性建模中相关变量选择的互信息

Mutual information for the selection of relevant variables in spectrometric nonlinear modelling

Fabrice Rossi, Amaury Lendasse, Damien François, Vincent Wertz, Michel Verleysen

TL;DR本文通过对原始数据进行变量选择，提出一种基于互信息度量的方法，通过选择出与模型输出存在信息联系的重要变量，以达到同时降低模型复杂度、提高模型泛化能力、增强模型解释性的目的。

Abstract

Data from spectrophotometers form vectors of a large number of exploitable variables. Building quantitative models using these variables most often requires using a smaller set of variables than the initial one.

spectrophotometers quantitative models mutual information measure variable selection overfitting

发现论文，激发创造

动态特征选择的条件互信息估计

本文介绍了一种基于信息论的动态特征选择方法，通过学习选择策略实现特征效益的高效获取。与现有最先进方法相比，该方法在各种数据集上都提供了一致的收益。

Jun, 2023

多元信息内容的通用度量

本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

Sep, 2019

利用机器学习进行信息分解，识别复杂系统中的相关变化

通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

Jul, 2023

超越常规：互信息估计评估

本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

Jun, 2023

量化协同互信息

本研究介绍了一种新型协同效应计量方法并对其与其他三种信息理论方法进行了比较，研究表明本研究方法可准确测量多个变量对于单一结果变量的协同效应，同时也证明独立预测因子可以具有积极的冗余信息。

May, 2012

特征选择的变分信息最大化

用变分分布构建了一种信息理论框架，生成互信息的下界，是一种优化特征选择的方法，实验表明该方法在信息理论特征选择中表现出色。

Jun, 2016

改进的互信息度量用于分类和社区检测

本文介绍了互信息这一信息论中的重要量，在分类学和社区检测分析中被广泛应用，但在实际应用中常常会由于丢失关键的部分而产生误差。针对这一问题，本文提出了一种修正的互信息量，并讨论了该量化指标的实际实现方法和实例应用。

Jul, 2019

从众多变量中筛选共同信息

本文提出了一种可扩展的方法，通过信息筛分解和简单的迭代过程，解决 Wyner 公共信息问题。该方法在高维度学习问题上比标准方法表现更好，并成功地恢复了大脑成像数据中的结构。

Jun, 2016

内在动机强化学习的变分信息最大化

本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

Sep, 2015

基于互信息的特征选择方法综述

本文介绍了信息论特征选择方法的现状，阐明了特征相关性、冗余性和补充性（协同作用）的概念，以及马尔科夫毯子。定义了最优特征选择的问题。我们描述了一个统一的理论框架，它可以使成功的启发式标准符合相应方法所做的近似。还介绍了该领域中的一些未解决问题。

Sep, 2015