Apr, 2024

朴素贝叶斯分类器和分类变量的一位有效编码

PDF
TL;DR通过错误地将一个 $K$ 值分类变量编码为 $K$ 位二进制数，将其用于朴素贝叶斯分类器，本文研究了这种编码方式的后果，从而得出了一个伯努利乘积（PoB）假设，而不是正确的分类朴素贝叶斯分类器。通过数学和实验分析了两种分类器之间的差异。在从狄利克雷分布中抽取的概率向量实验中，大多数情况下，这两种分类器在最大后验类标签上达成一致，尽管 PoB 情况下的后验概率通常更大。
encodingcategorical variableone-hot encodingnaïve bayes classifierproduct-of-bernoullis assumption
发现论文，激发创造
  • 谈论分类概率的贝叶斯方法

    提出一种使用贝叶斯方法中的随机变量作为分类任务中的 softmax 的替代品，以更好地估计不确定性和模型校准，并在多种挑战性任务中提供了一致的泛化性能提高。

    Feb, 2020

  • 神经网络模型中一种替代的独热编码方法

    本文提出了一种算法，用于实现神经网络模型输入数据的分类特征的二进制编码，同时在前向传播和反向传播过程中实施变化，以实现模型权重的变化，这些变化是由神经网络学习过程对某个特征类别的某些数据实例而导致的，只会影响该特征类别的输入数据实例的前向传播计算，这类似于使用 one-hot 编码处理分类特征的情况。

    Nov, 2023

  • 分类和回归任务中分类变量编码器性能的比较研究

    本研究对 14 种编码器以及八种常见机器学习模型在 28 个数据集上进行了全面的实验评估，发现了不同编码器在不同情境下的最佳选择，并为数据科学家在欺诈检测、疾病诊断等领域提供了选择合适编码器的指导。

    Jan, 2024

  • 贝叶斯分类器特征的最优划分

    本文提出了一种称为 CIBer 的新技术，该技术能够克服朴素贝叶斯方法带来的挑战并实现特征的最优分区，我们在不同的数据集上清楚地展示了我们技术的有效性，在比如随机森林和 XGBoost 等模型中，我们实现了更低的误差率和更高或相等的准确性。

    Apr, 2023

  • 朴素贝叶斯和文本分类 I - 介绍和理论

    本文主要介绍纳伊夫 - 贝叶斯分类器在文档分类中的主要概念和应用。

    Oct, 2014

  • 使用高斯过程在贝叶斯优化中处理类别变量和整数值变量

    该研究提出了更准确处理分类变量和整数值变量的方法，以改进使用高斯过程的贝叶斯优化方法在这些问题上的结果表现。

    May, 2018

  • 编码分类数据：除了一位有效编码，还有更热门的编码方式吗？

    在一个来自 OpenML 仓库的大规模分类问题样本中，通过对实验数据拟合线性混合效应模型，我们发现在多类别任务中，独热编码和 Helmert 对比编码优于基于目标的编码器。在二分类任务中，不同的编码方案之间没有显著差异；然而，独热编码对结果有一定积极影响。重要的是，我们发现编码方案与分类特征的特性之间没有显著交互作用，这说明我们的发现适用于不同领域的各种问题。

    Dec, 2023

  • 基于类别变量的黑盒优化的傅里叶表示

    该研究提出了一种基于代理模型和傅立叶展开的算法，用于优化纯分类型变量的黑盒函数，并在 RNA 序列优化和设计问题中取得了竞争性或优越性能，显著提高了计算成本和样本效率。

    Feb, 2022

  • 最近邻分类中邻居顺序的选择

    本文详细介绍了在训练样本为 Poisson 分布和二项式分布下 $k$ 值对于误判率影响的方式，并就此提出了选择 $k$ 值的新方法。

    Oct, 2008

  • 贝叶斯网络分类器的推理

    本文介绍了一种基于 Ordered Decision Diagrams（ODDs）的贝叶斯网络分类器的推理方法，包括将任何朴素贝叶斯分类器转换成 ODDs 的算法，以及使用 ODDs 进行等价性测试和 CPT 更改范围的特性分析。

    Oct, 2012