在一个来自 OpenML 仓库的大规模分类问题样本中，通过对实验数据拟合线性混合效应模型，我们发现在多类别任务中，独热编码和 Helmert 对比编码优于基于目标的编码器。在二分类任务中，不同的编码方案之间没有显著差异；然而，独热编码对结果有一定积极影响。重要的是，我们发现编码方案与分类特征的特性之间没有显著交互作用，这说明我们的发现适用于不同领域的各种问题。

Dec, 2023

本文基于机器学习算法对分类变量进行编码技术探究，通过对比不同编码策略和算法的实验结果，发现对训练数据中的特征进行正则化后的目标编码技术能够提供最好的结果，并且传统编码技术在部分情况下不如目标编码技术。

Apr, 2021

这篇研究论文是迄今为止最全面的分类编码器基准测试，包括对来自不同家族的 32 种配置的编码器进行的广泛评估，36 种实验因素的组合以及 50 个数据集的测试。研究显示数据集选择、实验因素和汇总策略对基准测试的结论产生了深远影响，而这些方面在以往的编码器基准测试中被忽视。

Jul, 2023

通过检查不同的编码技术对实体和上下文嵌入的影响，本研究的目标是挑战常用的顺序编码在表格学习中的应用。通过应用不同的预处理方法和网络架构在几个数据集上，得出了编码器对网络学习结果的影响的基准。通过保持测试、验证和训练数据的一致性，结果表明顺序编码在预处理数据和随后正确分类目标变量方面对于分类数据来说并不是最合适的编码器。通过计算相似度矩阵作为网络输入，基于字符串相似性对特征进行编码可以取得更好的结果。无论是实体还是上下文嵌入，变压器架构在顺序编码和相似度编码方面都表现出了改进的多标签分类任务性能。

Mar, 2024

本文提出了一种算法，用于实现神经网络模型输入数据的分类特征的二进制编码，同时在前向传播和反向传播过程中实施变化，以实现模型权重的变化，这些变化是由神经网络学习过程对某个特征类别的某些数据实例而导致的，只会影响该特征类别的输入数据实例的前向传播计算，这类似于使用 one-hot 编码处理分类特征的情况。

Nov, 2023

本研究提出了一种将目标嵌入到低维空间以提高神经网络收敛速度的方法，其中采用随机投影技术以零计算成本提高了收敛速度，并使用归一化的特征值表示类流形以提高编码的准确性。实验证明该方法能显著提高 CIFAR-100、CUB200-2011、Imagenet 和 MIT Places 数据集上的神经网络收敛速度和准确率。

Jun, 2018

本文介绍了车辆索赔数据集，并提出用于表示分类属性的 GEL 编码和嵌入层。通过比较标签，One Hot 编码，GEL 编码和嵌入层，在标记，重建错误，密度估计和对比学习方法上，评估了该数据集的浅层和深度学习方法。

Oct, 2022

本研究比较了在具有高基数分类变量的多种表格数据集上，随机效应的机器学习模型与其经典模型之间的预测精度，发现使用随机效应的决策树提升模型优于使用随机效应的深度神经网络模型。

Jul, 2023

本文对配置软件系统的不同编码方式进行了实证比较，研究发现 one-hot 编码通常导致最准确的结果，而 scaled label 编码通常会在不同模型的准确性上表现较弱。此外，scaled label 编码往往会导致最快的训练时间，而 one-hot 编码则最慢。

Mar, 2022

通过错误地将一个 $K$ 值分类变量编码为 $K$ 位二进制数，将其用于朴素贝叶斯分类器，本文研究了这种编码方式的后果，从而得出了一个伯努利乘积（PoB）假设，而不是正确的分类朴素贝叶斯分类器。通过数学和实验分析了两种分类器之间的差异。在从狄利克雷分布中抽取的概率向量实验中，大多数情况下，这两种分类器在最大后验类标签上达成一致，尽管 PoB 情况下的后验概率通常更大。

Apr, 2024