Oct, 2020

不包含类比测试的类比研究：衡量词嵌入中的规律性

PDF
TL;DR本文通过分解和实证分析经典算数词类比测试，提出了两种新的指标，用于解决标准测试存在的问题，并区分广泛类别内二元词汇之间的相似方向和正确匹配词对之间存在常规变换的配对一致性；结果表明，尽管标准的词类比测试存在缺陷，但一些受欢迎的词嵌入方法仍然编码语言规律。
vector space modelslinguistic regularitiesword analogy testword embeddingspairing consistency
发现论文，激发创造
  • 使用词语类比评估语义空间的问题

    本文研究了解决词汇类比问题的 offset 方法，揭示了该方法依赖于余弦相似度和邻域结构，提出了基于向量空间的评估方法的改进措施。

    Jun, 2016

  • 利用矩阵流形推理单词嵌入中的语言规律

    本文介绍了一种基于 Grassmannian 的新方法，旨在通过建模单词集合所围成的子空间来捕获连续词向量表示中的类比关系，该方法利用测地核的修改余弦距离模型捕获跨单词类别的关系特定距离，实验结果表明与以前的方法相比，本方法在类比任务上表现显著改善。

    Jul, 2015

  • 评估向量空间类比模型

    本文评估了将平行四边形模型应用于现代单词嵌入的类比关系能够捕捉基于人类关系相似度判断的能力，并发现其在某些语义关系上表现更好，但同时提供了基于向量空间内在几何约束的更深层次局限性证据，对一阶相似性产生的古典结果进行类比。

    May, 2017

  • 压缩词嵌入

    该论文研究了使用词向量空间中的哈希技术压缩向量表达的内部结构对嵌入式表示存储优化的影响，同时探讨了二元分解对于嵌入式表示的可解释性的提高。

    Nov, 2015

  • ANALOGICAL - 大语言模型长文本类比的新基准

    提出了一个新的基准测试，名为 ANALOGICAL，在长文本的类比上对大型语言模型（LLMs）进行内在评估。在使用 13 个数据集和 3 种不同距离度量进行评估的过程中，发现当上升类比分类学时，LLMs 越来越难以识别类比。

    May, 2023

  • 类比的解释：走向理解词嵌入

    本文通过概率定义新的释义来重新诠释 W2V 生成的词向量中的线性行为，证明了线性关系存在，并确定了差错项。

    Jan, 2019

  • 探究线性词语类比

    研究发现，使用向量算术操作可以解决单词类比问题，本文提供了 skip-gram 模型中算术运算符对应的非线性嵌入模型的正式解释，证明了线性子结构存在于向量空间中，通过从技术上的角度证明了降低高频词权重的有效性以及欧氏距离在捕捉单词不相似性问题上的信息论解释。

    Oct, 2018

  • 关于词类比测试预测信息内容的研究

    提出了一种方法来以信息量的位数量化类比测试中类比的实际相关性，主要组件是一种软准确度估计器，还提供了具有补偿偏差的熵估计，使用预训练的 GloVe 300-D 向量和两个公共类比测试集获得的实验结果表明，从信息内容的角度来看，接近度提示比类比更相关，因此，使用简单的词嵌入模型预测类比携带约一位信息量，这得到了实验的验证。

    Oct, 2022

  • 利用神经嵌入和向量运算解决 ARC 视觉类比问题：一种广义方法

    这篇论文通过引入变分自动编码器 (VAE) 来解决通过向量算术处理的视觉类比推理问题，并且在 Abstraction and Reasoning Corpus (ARC) 中取得了有希望的结果。

    Nov, 2023

  • 快速零样本图像标记

    本篇论文研究了图像与单词之间的关系，发现相关的单词向量在特定方向上超过无关的单词向量，依此提出了一种基于线性映射和深层神经网络的快速图像标注模型，其具有良好的性能和鲁棒性，并能够处理此前未见过的标签。

    May, 2016