超越 One-hot 编码：低维目标嵌入

Jun, 2018

Beyond One-hot Encoding: lower dimensional target embedding

Pau Rodríguez, Miguel A. Bautista, Jordi Gonzàlez, Sergio Escalera

TL;DR本研究提出了一种将目标嵌入到低维空间以提高神经网络收敛速度的方法，其中采用随机投影技术以零计算成本提高了收敛速度，并使用归一化的特征值表示类流形以提高编码的准确性。实验证明该方法能显著提高 CIFAR-100、CUB200-2011、Imagenet 和 MIT Places 数据集上的神经网络收敛速度和准确率。

Abstract

target encoding plays a central role when learning Convolutional Neural Networks. In this realm, One-hot encoding is the most prevalent strategy due to its simplicity. However, this so widespread encoding schema assumes a flat label space, thus ignoring rich relationships existing amon

target encoding convolutional neural networks low-dimensional embeddings random projections normalized eigenrepresentation

发现论文，激发创造

将曲率引入标签空间

通过引入曲率和使用度量张量作为自调节方法，我们提出一种基于学习算法无关的叠加方案，以更好地表示这些关系。我们提出了一些通用约束和特定的统计参数化方法，并提出了使用基于自编码器的参数化的未来研究方向。

Oct, 2018

编码分类数据：除了一位有效编码，还有更热门的编码方式吗？

在一个来自 OpenML 仓库的大规模分类问题样本中，通过对实验数据拟合线性混合效应模型，我们发现在多类别任务中，独热编码和 Helmert 对比编码优于基于目标的编码器。在二分类任务中，不同的编码方案之间没有显著差异；然而，独热编码对结果有一定积极影响。重要的是，我们发现编码方案与分类特征的特性之间没有显著交互作用，这说明我们的发现适用于不同领域的各种问题。

Dec, 2023

正则化目标编码在具有高基数特征的监督式机器学习中优于传统方法

本文基于机器学习算法对分类变量进行编码技术探究，通过对比不同编码策略和算法的实验结果，发现对训练数据中的特征进行正则化后的目标编码技术能够提供最好的结果，并且传统编码技术在部分情况下不如目标编码技术。

Apr, 2021

分类和回归任务中分类变量编码器性能的比较研究

本研究对 14 种编码器以及八种常见机器学习模型在 28 个数据集上进行了全面的实验评估，发现了不同编码器在不同情境下的最佳选择，并为数据科学家在欺诈检测、疾病诊断等领域提供了选择合适编码器的指导。

Jan, 2024

大规模图像分类的信息理论标签嵌入

本文介绍了一种用于训练多标签、大规模多类别图像分类模型的方法，通过将高维稀疏标签嵌入到具有单位范数的低维密集球体上，并将分类问题视为该球体上余弦相似度回归问题，其比基于逻辑回归的 sigmoid 交叉熵损失函数的监督方法更快更准确，经过在 300 million 高分辨率图像和 17,000 标签的数据集上测试，相对于逻辑回归，该方法收敛速度明显提高，平均精度也提高了 7%。

Jul, 2016

分类变量的实体嵌入

本文介绍了如何将分类变量映射为欧氏空间中的实体嵌入，通过在标准监督训练过程中让神经网络进行学习。实体嵌入不仅可以减少内存使用和加速神经网络，更重要的是通过将相似的值映射到嵌入空间中靠近的位置，揭示了分类变量的内在属性，并帮助神经网络在稀疏且统计学未知的数据集上更好地泛化，因此在具有许多高基数特征的数据集上尤其有用，并且可以用于可视化分类数据和数据聚类。

Apr, 2016

探索在超出范围检测任务中利用密集向量和独热编码对意图类别的优势

本文研究了使用一种流行的 one-hot 编码方法进行意图分类时，当需要检测超出范围的输入时，其固有限制。我们通过比较基于领域特定知识的密集向量和 one-hot 编码技术，探讨了大规模自然语言处理中 OOS 探测的问题，实验结果表明，知识无关，随机生成的密集向量编码比 one-hot 编码技术可以显著提高 OOS 检测性能。同时，我们提出了一种新的算法来搜索好的密集向量编码并对其进行了初步的实验结果分析。

May, 2022

极大输出空间的快速标签嵌入

本文提出了利用排名约束估计与低维标签嵌入之间的对应关系来发现一种新的、快速的标签嵌入算法，并展示了其在多类问题和多标签问题中的应用，最终实现了指数级的运行时间优化，其中在两个大规模公共数据集上的结果优于现有技术。

Mar, 2015

表格式学习：实体和上下文嵌入的编码

通过检查不同的编码技术对实体和上下文嵌入的影响，本研究的目标是挑战常用的顺序编码在表格学习中的应用。通过应用不同的预处理方法和网络架构在几个数据集上，得出了编码器对网络学习结果的影响的基准。通过保持测试、验证和训练数据的一致性，结果表明顺序编码在预处理数据和随后正确分类目标变量方面对于分类数据来说并不是最合适的编码器。通过计算相似度矩阵作为网络输入，基于字符串相似性对特征进行编码可以取得更好的结果。无论是实体还是上下文嵌入，变压器架构在顺序编码和相似度编码方面都表现出了改进的多标签分类任务性能。

Mar, 2024

极端多标签学习的本地非线性嵌入

本文介绍了 X-One 分类器，其使用小型本地距离保存嵌入，可以准确预测罕见（尾部）标签的聚合，提高了分类准确性，可有效且较之于嵌入法和树法的现有极端多标签分类算法，对于拥有百万标签的数据集也能高效扩展。

Jul, 2015