Jun, 2022

抽象和具体词汇的视觉定位：对 Günther 等人 (2020) 的回应

PDF
TL;DR本文探讨语言与视觉的互动方式对视觉基础单词嵌入的影响，并使用 Günther 等人 (2020) 的行为实验说明了基于视觉图像建模的嵌入模型在人类的行为表现上更佳。同时发现抽象概念从视觉连接的角度受到视觉基础单词的间接影响。
发现论文，激发创造
  • 语言与视觉：基于场景的词语和句子嵌入研究

    本研究提出了一种简单且非常有效的预训练词嵌入视觉对齐方法，使得即使对于抽象词，我们也能生成受视觉基础支撑的嵌入，并且在一系列的单词相似性基准测试中证明了视觉基础支撑不仅有益于具体词，还有益于抽象词。

    Jun, 2022

  • 看见优势：通过视觉衍生词嵌入更好地捕捉人类的语义知识

    本文旨在利用图像丰富文本语义模型，以更好地捕捉词汇意义的认知方面，并通过大型启动实验展示在视觉基础词嵌入中添加视觉信息的预测性能更好，其中与人类单词相似性的相关性也更高，并展示了视觉基础嵌入可以捕捉到仅使用纯文本不能提取的信息。

    Feb, 2022

  • Visual Word2Vec (vis-w2v): 使用抽象场景学习视觉上扎根的词向量

    本文提出了一种能够捕捉语义相似性的视觉词向量嵌入模型，将抽象场景作为视觉基础，并在三项任务中取得了超越文本词向量的表现。

    Nov, 2015

  • 跨语言词向量的视觉定位

    通过在英语、阿拉伯语和德语等语言间建立隐式的视觉及语言空间交互，研究探讨跨语言的词嵌入的视觉基础。结果表明，跨语言知识可以增强相似语言的嵌入性能，但德语或英语与阿拉伯语之间的跨语言基础稍有劣化，在归类基准上，阿拉伯语对英语改进最多。该实验为跨语言视觉基础的进一步研究提供了基础。

    Sep, 2022

  • 视觉基准帮助在低数据环境中学习词义

    通过对具有意义的监督的视觉数据进行训练，我们发现在具有限定语言数据的情况下，视觉监督可以提高词汇学习的效率，但这种改进是有限的，并且当前的多模态建模方法未能有效利用视觉信息以构建更具人类特征的词汇表示。

    Oct, 2023

  • 无监督的视频视觉定位词汇翻译

    利用视觉基础方法，通过学习不成对指导视频中讲解的语言产生共同的视觉表示方法。我们可以将这种共同的表示方法用于单词映射和跨语言翻译，尤其是对于 “视觉” 单词。同时，我们的基于视觉 - 文本的转换算法 MUVE 提高了非监督文本翻译技术的性能，特别是处理少见单词和低资源语言数据时。

    Mar, 2020

  • 像双语婴儿一样：视觉引导双语语言模型的优势

    通过使用 MS-COCO-ES 数据集中的英语和西班牙语的图像和字幕来训练 LSTM 语言模型，研究发现视觉基础能够提高语义相似性的理解能力，特别是在跨语言时，但是在抽象词汇方面没有显著优势。研究还指出，为了进一步提高视觉基础的语言模型的实用性，需要更多多语言数据和多语言说话者的感知基础。

    Oct, 2022

  • 利用文本为视觉表示建立通用领域基础

    本文提出了一种基于自然语言监督的跨模态领域泛化方法，利用视觉和文本交互的表征来实现高级别类别判别的信息融合，并使用可解释的模型来生成解释，从而提高模型的泛化能力和性能。作者的方法在多个数据集上均取得了最新领先的结果。

    Jul, 2022

  • 通过视觉语言验证和迭代推理来改善视觉定位

    本研究提出了一种基于 transformer 的视觉定位框架，通过建立文本条件的区分性特征和执行多阶段跨模态推理来实现精确的视觉定位，并提出了基于文本的视觉上下文信息编码器和多阶段解码器以实现最新的性能。

    Apr, 2022

  • 使用视觉表示探究上下文语言模型的共同基础

    本文通过设计一种探针模型，研究了上下文语言模型对应的具体名词在视觉表示方面的关联程度，并发现语言表示本身就具有检索正确对象类别的强信号以及检索图像特定实例的效果，而文本上下文在该过程中发挥了重要作用，但比起人类，具有图像为基础的语言模型在实例检索方面表现稍逊。我们希望这些结果能够启发未来的研究，进一步地理解和改善语言模型的视觉能力。

    May, 2020