Jul, 2015

利用矩阵流形推理单词嵌入中的语言规律

PDF
TL;DR本文介绍了一种基于 Grassmannian 的新方法，旨在通过建模单词集合所围成的子空间来捕获连续词向量表示中的类比关系，该方法利用测地核的修改余弦距离模型捕获跨单词类别的关系特定距离，实验结果表明与以前的方法相比，本方法在类比任务上表现显著改善。
continuous vector space word representationssubspacesgrassmanniangeodesic kernelsanalogy tasks
发现论文，激发创造
  • 不包含类比测试的类比研究：衡量词嵌入中的规律性

    本文通过分解和实证分析经典算数词类比测试，提出了两种新的指标，用于解决标准测试存在的问题，并区分广泛类别内二元词汇之间的相似方向和正确匹配词对之间存在常规变换的配对一致性；结果表明，尽管标准的词类比测试存在缺陷，但一些受欢迎的词嵌入方法仍然编码语言规律。

    Oct, 2020

  • 在 Grassmann 流形上的字典异构学习和稀疏编码：一种外在解法

    本文提出了一种在非欧几里得空间上的稀疏字典学习算法，该算法通过将 Grassmann 流形嵌入到对称矩阵空间中来实现。在几种分类任务中，该算法较之目前最先进的方法如核仿射集算法和图嵌入 Grassmann 判别分析具有更好的识别精度。

    Oct, 2013

  • 评估向量空间类比模型

    本文评估了将平行四边形模型应用于现代单词嵌入的类比关系能够捕捉基于人类关系相似度判断的能力，并发现其在某些语义关系上表现更好，但同时提供了基于向量空间内在几何约束的更深层次局限性证据，对一阶相似性产生的古典结果进行类比。

    May, 2017

  • 探究线性词语类比

    研究发现，使用向量算术操作可以解决单词类比问题，本文提供了 skip-gram 模型中算术运算符对应的非线性嵌入模型的正式解释，证明了线性子结构存在于向量空间中，通过从技术上的角度证明了降低高频词权重的有效性以及欧氏距离在捕捉单词不相似性问题上的信息论解释。

    Oct, 2018

  • 利用软流形提升具有缺失数据的图嵌入

    使用软流形进行图嵌入，为复杂数据集中的任何数据分析任务提供连续空间，实验结果表明其能够相对于现有技术更准确可靠地对图进行表征。

    Nov, 2023

  • Poincaré GloVe: 超球面词嵌入

    本文提出了一种基于 delta-hyperbolicity 的方法，在超球面的笛卡尔积空间中嵌入词嵌入向量，在此基础上利用 Glove 算法学习无监督的词嵌入，并发现了这种嵌入方式相对于高斯词嵌入的几何意义，同时通过这种新类型几何的平行传送得出新的解决 word analogy 的方法，在各种任务上表现出色。

    Oct, 2018

  • 计算可行的黎曼流形用于图嵌入

    本研究探索了在借助矩阵流形学习和优化图嵌入的情况下，如何在曲线里曼尼流形中提高图像嵌入的表现。我们的实验结果证明，在各种衡量不同图形属性的指标基础上，我们通常优于基于超球体和椭球嵌入的欧几里得嵌入，从而为非欧几里得句子嵌入在机器学习流水线中的优势提供了新的证据。

    Feb, 2020

  • 学习几何词元嵌入

    本文提出了一个几何框架，用于学习来自不同嵌入源的单词元嵌入。该框架将嵌入转换为共同的潜空间，这使得对给定单词的不同嵌入进行简单平均更加易于处理。通过两种特定的几何变换（正交旋转和马氏度量缩放），得到了提出的潜空间。在几个单词相似性和类比测试中的实证结果说明了提出的框架的有效性。

    Apr, 2020

  • 以概念子空间为基础的实体嵌入用于合理推理

    本研究提出一种基于向量空间嵌入的方法，通过 Wikipedia 学习实体的嵌入并将其限制在某些较低维度子空间中，以解决概念空间表示建模自动化的局限性，实验结果表明这些子空间能够作为近似的概念空间表示，其重要特征可以被建模为方向，而自然属性则往往对应于凸区域。

    Feb, 2016

  • 广义球面文本嵌入

    本文提出了一种无监督建模方法，通过引入新的相似度度量和矩阵嵌入的优化问题，可以更加灵活地表示文本嵌入，并在文档分类、文档聚类和语义文本相似性基准测试等方面得到改进的结果。

    Nov, 2022