高维度中的嵌入向量估计

Dec, 2023

Estimation of embedding vectors in high dimensions

Golara Ahmadi Azar, Melika Emami, Alyson Fletcher, Sundeep Rangan

TL;DR基于一种概率模型，研究了嵌入学习在离散数据中的可学习性，并提出了一种用于估计的低秩近似消息传递方法，探讨了样本数量、词项频率和嵌入相关性对概率分布的影响。通过对合成数据和真实文本数据的模拟验证了理论研究的可行性。

Abstract

embeddings are a basic initial feature extraction step in many machine learning models, particularly in natural language processing. An embedding attempts to map data tokens to a low-dimensional space where simil

embeddings machine learning models natural language processing low-rank approximate message passing probability distribution

发现论文，激发创造

近期基于随机游走的知识图嵌入方法综述

本文主要介绍了知识图谱及其嵌入方法，并回顾了最近发展的一些基于随机游走的嵌入方法。

Jun, 2024

利用大型语言模型揭秘嵌入空间

利用大型语言模型将嵌入向量转化为可理解的叙述，解决了嵌入向量难于解释和使用的问题，增强了概念激活向量、通信新的嵌入实体和解码推荐系统用户偏好等任务的能力。

Oct, 2023

理解向量嵌入的功能性和维度性：分布假设、成对内积误差及其偏差 - 方差权衡

本文提出了一个理论框架，以理解维度对向量嵌入的影响，并提出了 Pairwise Inner Product（PIP）loss，它是一种基于向量嵌入相似度的齐次不变量度量，用于捕捉向量嵌入之间的功能差异和维度的选择偏差 - 方差权衡问题，并发现了向量嵌入的鲁棒性与前向稳定性，并展开实证研究。

Mar, 2018

网络嵌入教程

本次调查综述了网络嵌入的发展历史以及对分类、聚类、链接预测和可视化等任务的作用，将网络嵌入方法根据不同场景进行了分类，包括监督学习、无监督学习、同质网络和异质网络等。最后，探讨了网络嵌入未来的研究方向。

Aug, 2018

基于记忆嵌入的学习

本文研究嵌入学习，将其扩展到时间、空间和符号的各种认知内存功能，并利用该数学模型推导出许多有关人类记忆的假设。

Nov, 2015

通过概念化解释嵌入空间

本文提出了一种将任何嵌入空间转换成易理解的概念空间的方法，并展示了该方法在语义表示方面的实用价值，如发现潜藏的偏见和比较不同模型间语义的差异。

Aug, 2022

向量空间中多个嵌入每个单词的高效非参数估计

提出一种扩展 Skip-gram 模型的方法，它可以高效地学习每个单词类型的多个嵌入，通过联合进行词义辨别和嵌入学习，非参数地估计每个单词类型的很多不同的词义，并通过在一个拥有近 10 亿标记的语料库上训练一台机器的演示，展示了它的可扩展性。

Apr, 2015

通过流形逼近和投影实现的无监督句子嵌入

该研究提出了一种名为 EMAP 的新技术，通过将句子投射到一个固定维度的流形上，以保留原始空间中的局部邻域来无监督地生成句子嵌入，可以用于文本分类，实验证明该方法性能优于其他最先进方法。

Feb, 2021

词向量：一份调查报告

本研究总结了最近的构建定长、密集、分布式单词表示的主要策略，并阐述了这些表示通常被称为单词嵌入，并除了编码出色的句法和语义信息之外，还被证明在许多下游自然语言处理任务中有用的额外特征。

Jan, 2019

嵌入式表示应该嵌入什么？自回归模型表示潜在的生成分布

通过将自回归预测目标与构建预测充分统计量的思想联系起来，我们确定了三种情况下嵌入的最佳内容：独立同分布数据、潜在状态模型和离散假设空间，并进行实证研究表明 Transformers 编码了这三种潜在生成分布，并在这些情况下表现良好。

Jun, 2024