Dec, 2023

信息修改的 K 最近邻算法

PDF
TL;DR提出了一种新的分类方法，名为信息修正 KNN（IMKNN），通过引入互信息（MI）来提高 K - 最近邻算法（KNN）的性能，并从合作博弈论中的 Shapley 值概念汲取灵感，以优化价值分配。实验结果表明，在不同数据集和评判标准下，IMKNN 始终优于其他方法，突出了其在各种分类任务中的优越性能，凸显了 IMKNN 在增强 KNN 算法能力方面的潜力。
k-nearest neighborsmutual informationshapley valuesinformation-modified knnclassification tasks
发现论文，激发创造
  • 本地可解释的机器学习和人工智能：初步结果和未来方向

    该论文介绍了如何结合 k 最近邻算法与信息论来解决机器学习模型复杂度与可解释性之间的矛盾，以实现全面审计的机器学习和人工智能技术

    Jan, 2019

  • 基于平方损失互信息的信息最大化聚类

    该论文提出了一种基于核特征值分解的新型信息最大化聚类方法，该方法使用变体的互信息的平方误差作为目标函数进行聚类，具有高效性和可解性。同时，该方法还提供了一个实用的模型选择过程来优化核函数中包含的调整参数，并通过实验证明了该方法的实用性。

    Dec, 2011

  • K-ANMI：一种基于互信息的分类数据聚类算法

    本文介绍了一种新的用于聚类分类数据的高效算法 K-ANMI，其使用了基于互信息的标准进行聚类评估，实验结果表明，该算法相对于现有的分类数据聚类算法在聚类准确性方面具有竞争力。

    Nov, 2005

  • 解密固定 k 最近邻信息估计器

    本文研究了基于 $KSG$ 估计的互信息估计中，样本数对偏差收敛速度的影响，发现了 $KSG$ 估计器的优越性能来源于 “相关性提升” 效应，并通过改进 $KSG$ 估计器构建出更优秀的估计器。

    Apr, 2016

  • 广义互信息：一种用于判别聚类的框架

    本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果，并将核心距离更改为常见的挑战导致的原因。因此，我们通过引入广义相互信息 (GEMINI) 来推广相互信息，它是一组用于无监督神经网络训练的指标。与相互信息不同，一些 GEMINI 在训练时不需要正则化，因为它们在数据空间中具有几何意识的距离或核函数。最后，我们强调 GEMINI 可以自动选择相关的聚类数目，这是在深度判别聚类上很少研究的一个特性，因为聚类数目是先验未知的。

    Sep, 2023

  • 判别聚类的广义互信息

    本文提出了一种新的无监督神经网络训练度量标准 —— 广义互信息 (GEMINI)，相比于互信息，它不需要正则化且可自动选择群聚数目，并且是数据空间的几何感知度量，从而提供更好的聚类效果。

    Oct, 2022

  • 基于灵活 K 近邻分类器的导出和应用：针对基于离子迁移谱的室内定位

    本研究提出了一种新的 KNN 算法，通过测试和比较，在理论场景和基于离子迁移谱指纹的室内定位方面均取得了比标准 KNN 更高的分类准确度，同时要求相同的计算需求。

    Apr, 2023

  • 具有稳定学习规则的增强型 KNN 双支持向量机

    该研究提出了一种增强的、基于加权的正则化 KNN 双支持向量机，通过加权样本、增加稳定项和结合多距离 KNN 算法来解决 KNN-based TSVM 分类器的高计算成本和过拟合等问题，实验结果表明在分类准确度和计算时间上均有显著提高，最大加速比可达 14 倍。

    Jun, 2019

  • MIHash：具有互信息的在线哈希算法

    本研究提出了一种互信息学习的哈希方法 MIHash，可以在在线和批处理设置中使用，有效地减少哈希表重新计算并学习具有高质量的哈希函数，在 2.5M 图像数据集上取得了良好的表现。

    Mar, 2017

  • 使用互信息的分层聚类

    本文提出了一种名为 MIC 算法的层次聚类数据的方法，采用相互信息作为相似度度量，并利用其聚组特性。将此方法应用于从线粒体 DNA 序列构建系统发育树以及独立成分分析（ICA）的输出。

    Nov, 2003