Visual Word2Vec (vis-w2v): 使用抽象场景学习视觉上扎根的词向量

Nov, 2015

Visual Word2Vec (vis-w2v): 使用抽象场景学习视觉上扎根的词向量

Visual Word2Vec (vis-w2v): Learning Visually Grounded Word Embeddings Using Abstract Scenes

Satwik Kottur, Ramakrishna Vedantam, José M. F. Moura, Devi Parikh

TL;DR本文提出了一种能够捕捉语义相似性的视觉词向量嵌入模型，将抽象场景作为视觉基础，并在三项任务中取得了超越文本词向量的表现。

Abstract

We propose a model to learn visually grounded word embeddings (vis-w2v) to capture visual notions of semantic relatedness. While word embeddings trained using text have been extremely successful, they cannot unco

visually grounded word embeddings semantic relatedness visual world abstract scenes common-sense assertion classification

发现论文，激发创造

语言与视觉：基于场景的词语和句子嵌入研究

本研究提出了一种简单且非常有效的预训练词嵌入视觉对齐方法，使得即使对于抽象词，我们也能生成受视觉基础支撑的嵌入，并且在一系列的单词相似性基准测试中证明了视觉基础支撑不仅有益于具体词，还有益于抽象词。

Jun, 2022

抽象和具体词汇的视觉定位：对 Günther 等人 (2020) 的回应

本文探讨语言与视觉的互动方式对视觉基础单词嵌入的影响，并使用 Günther 等人 (2020) 的行为实验说明了基于视觉图像建模的嵌入模型在人类的行为表现上更佳。同时发现抽象概念从视觉连接的角度受到视觉基础单词的间接影响。

Jun, 2022

看见优势：通过视觉衍生词嵌入更好地捕捉人类的语义知识

本文旨在利用图像丰富文本语义模型，以更好地捕捉词汇意义的认知方面，并通过大型启动实验展示在视觉基础词嵌入中添加视觉信息的预测性能更好，其中与人类单词相似性的相关性也更高，并展示了视觉基础嵌入可以捕捉到仅使用纯文本不能提取的信息。

Feb, 2022

学习基于图像的句子表示

我们介绍了训练在监督图像字幕语料库上的多种模型，用于预测给定字幕的图像特征，以执行句子表示接地。我们训练了一个接地的句子编码器，在 Coco 字幕和图像检索方面取得了良好的性能，随后展示了该编码器可以成功地转移到各种 NLP 任务，与仅文本模型相比，性能有所提高。最后，我们分析了接地的贡献，表明该系统学习到的单词嵌入优于非接地的单词嵌入。

Jul, 2017

ViCo：从视觉共现中获得词向量

本论文提出从视觉共现学习词嵌入表示，并通过多任务对数双线性模型进行训练，以将每种共现类型所表示的单词 “含义” 紧凑地编码为单个视觉单词向量，最终在五个下游应用中验证了提出的词嵌入方法的有效性和各方面优点。

Aug, 2019

揭示词嵌入的梦想：走向语言驱动的图像生成

本研究介绍了一种基于语言的图像生成方法，可以根据单词嵌入语义内容生成自然图像，并且采用两个映射函数实现，该方法在几个用户研究中证明其产生的图像可以捕捉编码在单词嵌入中的概念的一般视觉特性，例如颜色或典型环境，足以区分对象的一般类别。

Jun, 2015

基于视觉反馈的自监督语音模型中的词语发现

本文提出了一种可视化感知的口语术语探测方法，通过对自注意力头的训练与分析发现，在自然图像与口语字幕关联的模型中具有强大的单词分割和聚类能力，并在 Buckeye 单词分割和 ZeroSpeech 口语术语探测任务上超过了所有已发表的现有方法。

Mar, 2022

预测图像和视频字幕检索的文本视觉特征

本文提出了一种基于视觉空间进行图像和视频描述检索的深度神经网络模型，通过多尺度句向量化和多层感知器等方法，将文本输入转化为视觉特征表示，实现了优于文本嵌入的多模态检索效果。

Sep, 2017

视觉场景的基于语义 grounded 语义构成

本篇研究介绍了一种基于视觉语言理解模型的单词语义组合来生成复杂指代表达式的理论，介绍了其在空间指代表达式中的应用及在语义理解中对视觉语境的影响研究。

Jun, 2011

在基于图像场景环境的语义空间中融合视觉语义到句子表示中

本文目的在于通过学习一种中间的 representation space 将视觉信息转移到文本表示中，以解决由于一个视觉场景可以有多种描述方式所导致的文字表示和学习中的问题，作者还提出了两个新的目标，来保证相关元素之间的相似性跨领域地保持和提高分类和语义相关性任务的性能。

Feb, 2020