May, 2017

分布式表示是否准备好进入现实世界？评估基于感知含义的词向量

HTML
PDF
TL;DR本文检验了分布式词汇表示法是否能准确编码概念含义的所有必要方面，发现其无法准确编码概念的感知特征，导致词-词相似度预测误差。因此，文中提出需要注重基于经验和实体的语言学习方法来弥补这些缺陷。
发现论文，激发创造
  • 去除歧义的语义表示

    通过深度语义网络来解决语义表达技术中单一代表多个意思的缺陷，提出了一种高覆盖率、能够准确表示不常见词义的技术，并在六个数据集上取得了最先进的结果。

    Aug, 2016

  • 语义投影：从词嵌入中恢复多个不同物体特征的人类知识

    该研究探讨了一种计算模型，即词嵌入模型，通过将词表示为多维空间中的向量，从词汇共现模式中学习来自语义记忆中的常见知识，并提出了语义投影的解决方案，以检验词嵌入模型是否能够恢复多种语义特征和对象属性的上下文依赖关系。

    Feb, 2018

  • 从词到义项嵌入：对意义向量表示的调查

    此研究综述了分布式语义表示的理论背景，介绍了从单词级别向更精细的词义级别转化的方法，并提供了对两种主要分支进行的广泛技术概述；最终，对其重要方面进行了分析与评估。

    May, 2018

  • Feature2Vec：人类属性知识的分布语义建模

    使用word2vec架构，将人类属性知识映射到分布式语义空间中，以提高单词概念特征的可解释性，使得在评估候选语义属性时更具有效性。

    Aug, 2019

  • 看见优势：通过视觉衍生词嵌入更好地捕捉人类的语义知识

    本文旨在利用图像丰富文本语义模型，以更好地捕捉词汇意义的认知方面，并通过大型启动实验展示在视觉基础词嵌入中添加视觉信息的预测性能更好，其中与人类单词相似性的相关性也更高，并展示了视觉基础嵌入可以捕捉到仅使用纯文本不能提取的信息。

    Feb, 2022

  • 语言与视觉：基于场景的词语和句子嵌入研究

    本研究提出了一种简单且非常有效的预训练词嵌入视觉对齐方法，使得即使对于抽象词，我们也能生成受视觉基础支撑的嵌入，并且在一系列的单词相似性基准测试中证明了视觉基础支撑不仅有益于具体词，还有益于抽象词。

    Jun, 2022

  • 抽象和具体词汇的视觉定位: 对Günther等人(2020)的回应

    本文探讨语言与视觉的互动方式对视觉基础单词嵌入的影响，并使用 Günther 等人(2020)的行为实验说明了基于视觉图像建模的嵌入模型在人类的行为表现上更佳。同时发现抽象概念从视觉连接的角度受到视觉基础单词的间接影响。

    Jun, 2022

  • 在具身模拟中通过相似性学习基于概念的词汇的内涵和区分

    我们提出了一种新方法，利用通过具身模拟收集的代理经验来将情境化词向量与对象表示相关联，并使用相似性学习来比较不同对象类型之间的相似性，显示出不同转换器模型的嵌入空间的特性，以及用于嵌入对象令牌向量比用于嵌入动词和属性令牌向量更有帮助。

    May, 2023

  • 在 GPT-3 和 GPT-4 中测试词义的因果模型

    本研究通过HIPE理论评估了GPT-3和GPT-4的词汇表示，结果发现GPT-3未编码所假设的因果结构，但发现GPT-4编码了这种结构，为评估大型语言模型的表征能力做出了贡献。

    May, 2023

  • 模态转移中的杠杆点：比较仅语言和多模态词表示

    本研究比较了来自不同模型的单词嵌入，在46个语义参数中识别出最受视觉语境影响的单词，并发现视觉模态效应与涉及具体性的指示语义属性最相关，但也适用于多个特定的语义类别，以及与情感相关的联想语言表达的倾向属性。

    Jun, 2023