Apr, 2016

分类变量的实体嵌入

PDF
TL;DR本文介绍了如何将分类变量映射为欧氏空间中的实体嵌入，通过在标准监督训练过程中让神经网络进行学习。实体嵌入不仅可以减少内存使用和加速神经网络，更重要的是通过将相似的值映射到嵌入空间中靠近的位置，揭示了分类变量的内在属性，并帮助神经网络在稀疏且统计学未知的数据集上更好地泛化，因此在具有许多高基数特征的数据集上尤其有用，并且可以用于可视化分类数据和数据聚类。
entity embeddingneural networkcategorical variablesfunction approximationgeneralization
发现论文，激发创造
  • 以概念子空间为基础的实体嵌入用于合理推理

    本研究提出一种基于向量空间嵌入的方法，通过 Wikipedia 学习实体的嵌入并将其限制在某些较低维度子空间中，以解决概念空间表示建模自动化的局限性，实验结果表明这些子空间能够作为近似的概念空间表示，其重要特征可以被建模为方向，而自然属性则往往对应于凸区域。

    Feb, 2016

  • CAVIAR: 精确和稳健推理的分类变量嵌入

    通过嵌入方法 CAVIAR，将高维分类变量嵌入到较低维度的全局坐标系中，从而稳定可靠地估计减少维度后的数据，促进推断和分析。

    Apr, 2024

  • 表格式学习：实体和上下文嵌入的编码

    通过检查不同的编码技术对实体和上下文嵌入的影响，本研究的目标是挑战常用的顺序编码在表格学习中的应用。通过应用不同的预处理方法和网络架构在几个数据集上，得出了编码器对网络学习结果的影响的基准。通过保持测试、验证和训练数据的一致性，结果表明顺序编码在预处理数据和随后正确分类目标变量方面对于分类数据来说并不是最合适的编码器。通过计算相似度矩阵作为网络输入，基于字符串相似性对特征进行编码可以取得更好的结果。无论是实体还是上下文嵌入，变压器架构在顺序编码和相似度编码方面都表现出了改进的多标签分类任务性能。

    Mar, 2024

  • 基于记忆嵌入的学习

    本文研究嵌入学习，将其扩展到时间、空间和符号的各种认知内存功能，并利用该数学模型推导出许多有关人类记忆的假设。

    Nov, 2015

  • 利用概念邻域对语义类别建模

    本文介绍了一种将概念邻居纳入考虑的方法来学习区域向量表示，从而得到更加准确的基于区域的表示。

    Dec, 2019

  • 网络嵌入教程

    本次调查综述了网络嵌入的发展历史以及对分类、聚类、链接预测和可视化等任务的作用，将网络嵌入方法根据不同场景进行了分类，包括监督学习、无监督学习、同质网络和异质网络等。最后，探讨了网络嵌入未来的研究方向。

    Aug, 2018

  • 层次分类和数据驱动分类的实体和分类别的联合嵌入

    本研究提出了一种基于大型知识库集成结构化知识和分类法层次结构将实体和类别嵌入到语义空间的框架，使框架能够计算实体和类别之间有意义的语义相关性，以处理单词概念和多词概念，在概念分类上表现出卓越性能，并在无数据层次分类方面取得了最新的成果。

    Jul, 2016

  • 使用 Node2Vec 学习得到的嵌入进行社区检测和分类保证

    通过对大型网络的节点进行嵌入，得到欧几里德空间中的表示是现代机器学习中的一个常见目标，该研究工作就对 node2vec 学习到的嵌入进行了理论性的分析，证明了其在聚类任务中表现出较弱的一致性，并对其在网络数据中的应用进行了讨论。

    Oct, 2023

  • 利用互补划分的组合嵌入实现内存高效的推荐系统

    本篇论文提出了一种新的方法，通过利用分类集合的互补分区来减少嵌入大小，使每个类别有一个唯一的嵌入向量，从而在模型损失和准确性方面提高表现，并在保持参数数目下降的同时，相对于哈希技巧，减少嵌入表大小。

    Sep, 2019

  • 学习将分类特征嵌入到推荐模型中，不需要使用表格

    本文提出了一种名为 Deep Hash Embedding（DHE）的替代嵌入框架，通过多重哈希函数和转换将特征值编码为唯一标识符向量，并将其应用于 DNN 生成嵌入，用于处理高基数特征和未知特征值等实际推荐系统中存在的挑战。实证结果表明，DHE 在模型大小更小的情况下实现了与标准的 one-hot 全嵌入相当的 AUC，为基于 DNN 的替代嵌入方案的设计提供了新思路。

    Oct, 2020