互信息度量下针对无参数和健壮特征选择的重新采样方法

Sep, 2007

互信息度量下针对无参数和健壮特征选择的重新采样方法

Resampling methods for parameter-free and robust feature selection with mutual information

Damien François, Fabrice Rossi, Vincent Wertz, Michel Verleysen

TL;DR本研究提出了一种将互信息准则与前向特征选择策略相结合的方法，在平衡所选特征子集的最优性和计算时间方面具有很好的折衷。同时，为了解决互信息估计器的参数设置和决定何时停止前向过程等问题，使用了重采样方法、K 交叉验证和置换检验。这一程序在合成数据集和实际案例中进行了演示。

Abstract

Combining the mutual information criterion with a forward feature selection strategy offers a good trade-off between optimality of the selected feature subset and computation time. However, it requires to set the

mutual information criterion forward feature selection resampling methods k-fold cross-validation permutation test

发现论文，激发创造

一种基于增量互信息和蟑螂群优化的特征选择算法

本研究提出了一种基于增量互信息的改进群智能优化方法（IMIICSO），它利用粗糙集理论计算基于互信息的特征选择重要性，通过探索超样本的互信息计算，可以丢弃无用的特征，有效降低最优特征子集的基数，提高了高维大规模数据集的特征筛选的效率和精度。

Feb, 2023

动态特征选择的条件互信息估计

本文介绍了一种基于信息论的动态特征选择方法，通过学习选择策略实现特征效益的高效获取。与现有最先进方法相比，该方法在各种数据集上都提供了一致的收益。

Jun, 2023

基于互信息的特征选择方法综述

本文介绍了信息论特征选择方法的现状，阐明了特征相关性、冗余性和补充性（协同作用）的概念，以及马尔科夫毯子。定义了最优特征选择的问题。我们描述了一个统一的理论框架，它可以使成功的启发式标准符合相应方法所做的近似。还介绍了该领域中的一些未解决问题。

Sep, 2015

互信息准则的主动特征选择

本文针对标签信息有限的情况，提出了基于互信息和纯探索多臂老虎机的主动特征选择算法，并通过实验证明了其有效性。

Dec, 2020

基于最近邻估计器的条件互信息独立性检验

提出了一种基于条件互信息和局部置换方案的全非参数连续数据测试方法，能够适应强非线性相关性，表现优于基于核的测试，并在小样本和高维条件下可靠地模拟零分布。

Sep, 2017

高度相关变量互信息的有效估计

提出了一种新的相互信息非参数估计值，解决了其他方法基于局部分布均匀性计算相互信息的局限性，对于很少的数据也可以准确地估计两个相关变量之间的相互信息，并且在合成和真实世界数据上表现出卓越的性能。

Nov, 2014

特征选择的变分信息最大化

用变分分布构建了一种信息理论框架，生成互信息的下界，是一种优化特征选择的方法，实验表明该方法在信息理论特征选择中表现出色。

Jun, 2016

超越常规：互信息估计评估

本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

Jun, 2023

动态特征选择的最大化互信息学习

提出了一种基于动态特征选择（DFS）和条件互信息的特征选择方法，该方法使用了一种基于分摊优化的学习方法，并在实验中表现出优于其他特征选择方法的性能。

Jan, 2023

光谱非线性建模中相关变量选择的互信息

本文通过对原始数据进行变量选择，提出一种基于互信息度量的方法，通过选择出与模型输出存在信息联系的重要变量，以达到同时降低模型复杂度、提高模型泛化能力、增强模型解释性的目的。

Sep, 2007