动态特征选择的条件互信息估计

Jun, 2023

Estimating Conditional Mutual Information for Dynamic Feature Selection

Soham Gadgil, Ian Covert, Su-In Lee

TL;DR本文介绍了一种基于信息论的动态特征选择方法，通过学习选择策略实现特征效益的高效获取。与现有最先进方法相比，该方法在各种数据集上都提供了一致的收益。

Abstract

dynamic feature selection, where we sequentially query features to make accurate predictions with a minimal budget, is a promising paradigm to reduce feature acquisition costs and provide transparency into the prediction process. The problem is challenging, however, as it requires both

dynamic feature selection information-theoretic perspective learning approach variable feature budgets state-of-the-art methods

发现论文，激发创造

动态特征选择的最大化互信息学习

提出了一种基于动态特征选择（DFS）和条件互信息的特征选择方法，该方法使用了一种基于分摊优化的学习方法，并在实验中表现出优于其他特征选择方法的性能。

Jan, 2023

互信息准则的主动特征选择

本文针对标签信息有限的情况，提出了基于互信息和纯探索多臂老虎机的主动特征选择算法，并通过实验证明了其有效性。

Dec, 2020

特征选择的变分信息最大化

用变分分布构建了一种信息理论框架，生成互信息的下界，是一种优化特征选择的方法，实验表明该方法在信息理论特征选择中表现出色。

Jun, 2016

光谱非线性建模中相关变量选择的互信息

本文通过对原始数据进行变量选择，提出一种基于互信息度量的方法，通过选择出与模型输出存在信息联系的重要变量，以达到同时降低模型复杂度、提高模型泛化能力、增强模型解释性的目的。

Sep, 2007

基于互信息的特征选择方法综述

本文介绍了信息论特征选择方法的现状，阐明了特征相关性、冗余性和补充性（协同作用）的概念，以及马尔科夫毯子。定义了最优特征选择的问题。我们描述了一个统一的理论框架，它可以使成功的启发式标准符合相应方法所做的近似。还介绍了该领域中的一些未解决问题。

Sep, 2015

学习解释：模型解释的信息论视角

我们引入了实例级别特征选择作为模型解释的一种方法，基于学习一个函数来提取最具信息价值的特征集合，利用变分逼近互信息，最大化选择特征和响应变量之间的互信息，我们在各种合成和真实数据集上展示了方法的有效性，并使用定量度量和人类评估进行了验证。

Feb, 2018

一种基于增量互信息和蟑螂群优化的特征选择算法

本研究提出了一种基于增量互信息的改进群智能优化方法（IMIICSO），它利用粗糙集理论计算基于互信息的特征选择重要性，通过探索超样本的互信息计算，可以丢弃无用的特征，有效降低最优特征子集的基数，提高了高维大规模数据集的特征筛选的效率和精度。

Feb, 2023

互信息度量下针对无参数和健壮特征选择的重新采样方法

本研究提出了一种将互信息准则与前向特征选择策略相结合的方法，在平衡所选特征子集的最优性和计算时间方面具有很好的折衷。同时，为了解决互信息估计器的参数设置和决定何时停止前向过程等问题，使用了重采样方法、K 交叉验证和置换检验。这一程序在合成数据集和实际案例中进行了演示。

Sep, 2007

远程视觉多任务推理的压缩特征选择

深度模型中的特征压缩与远程推理任务之间的关联性，通过互信息作为特征重要性度量，进行硬选择和软选择实验并与其他方法进行比较，提供多目标分析来深入研究。

May, 2024

混合互信息估计的有效性

本研究提出了一种结合判别性和生成性方法的变分界的估算方法，我们进一步提出了一种名为 PQ 的简单生成方法，可以与判别性估计器轻松结合，可以在高维高斯分布和随机过程数据上实现更紧凑的互信息估计。

Jun, 2023