COLINGFeb, 2021

探究多模态嵌入在语言属性中的应用：视觉 - 语义案例

PDF
TL;DR本篇论文提出了一种探测任务的方法，通过训练分类器来比较各种最新的文本 - 图像语义嵌入，揭示了语义嵌入中存在的问题并提出了问题解决方案。实验结果表明，视觉 - 语义嵌入的识别准确率比单媒体嵌入提高了 12% 以上。
semantic embeddingsvisual-semantic embeddingsprobing tasksmachine learningaccuracy
发现论文，激发创造
  • MCSE: 句子嵌入的多模态对比学习

    本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

    Apr, 2022

  • 基于多模态嵌入的动词无监督视觉语义消歧

    本文介绍了一项新任务：为动词进行视觉意义消歧，以此作为多模态任务如图像检索和图像描述的基础，并提出了基于 Lesk 算法的无监督算法来执行视觉意义消歧，说明了在有和无标注图像情况下，文本嵌入和多模态嵌入的性能。本文最终提供了 VerSe 数据集，并提供了下载链接。

    Mar, 2016

  • 单向量处理何所能容：探究句子嵌入的语言特征

    本文介绍了 10 种用于捕捉句子简单语言特征的探针任务，使用这些任务来研究三个不同编码器训练的嵌入，并揭示了编码器和训练方法的有趣特性。

    May, 2018

  • 语音与图像的深度多模态语义嵌入

    本文提出了一种模型，其将图像和相关的口头描述作为输入，并找到两种模态之间的对应关系。使用一对卷积神经网络在单词级别模拟视觉对象和语音信号，并采用嵌入和对准模型将两个网络联系在一起，以学习跨两种模态的联合语义空间，最终在 Flickr8k 数据集上使用图像搜索和注释任务评估了我们的模型。

    Nov, 2015

  • 语音文本语义对齐嵌入的分析

    本论文研究联合语音 - 文本 Embeddings 空间的内在属性，借助自动语音识别，通过多任务预训练场景实现语义对齐，利用定量检索精度度量语义对齐，进行了深入分析。

    Apr, 2022

  • 模态转移中的杠杆点：比较仅语言和多模态词表示

    本研究比较了来自不同模型的单词嵌入，在 46 个语义参数中识别出最受视觉语境影响的单词，并发现视觉模态效应与涉及具体性的指示语义属性最相关，但也适用于多个特定的语义类别，以及与情感相关的联想语言表达的倾向属性。

    Jun, 2023

  • 从网络数据中通过深度语义嵌入学习学习

    本研究提出利用网络和社交媒体数据来学习多模态图像和文本嵌入，旨在将在文本领域中学到的语义知识转移至用于语义图像检索的视觉模型。研究结果表明，利用带有相关文本的图像进行无监督学习的流程能够在三个基准测试中学习五种不同的文本嵌入，并在面向文本的图像检索任务中表现出与受监督方法竞争性的性能。在目标数据中训练时，我们在 MIRFlickr 数据集中明显优于现有技术。进一步，我们展示了如何使用学习到的嵌入执行语义多模态图像检索，超越了传统的实例级检索问题。最后，我们提出了一个新的数据集（InstaCities1M），由 Instagram 图像及其相关文本组成，可用于公平比较图像 - 文本嵌入方法。

    Aug, 2018

  • 基于视觉语境的多模态词表示学习

    本研究提出了一种同时利用文本和视觉上下文以学习多模态词嵌入的端到端方法，通过将视觉上下文元素整合到多模态 skip-gram 模型中，探索了何种因素可以作为视觉上下文，并进行了实验和分析。

    Nov, 2017

  • 实质还是风格：你的图像嵌入知道什么？

    通过对多种视觉 embedding 进行系统转换任务的测试与比较，发现不同的网络预训练算法会在 embedding 中编码不同类型的图像非语义信息，并且这些信息可以被有效地利用到一些特定的下游应用中。

    Jul, 2023

  • SemEval2023 任务 1 中的 OPI: 面向视觉词义消歧的图像 - 文本嵌入和多模态信息检索

    本研究提出采用多模态模型、排序学习以及基于知识的方法来进行词义消歧，并在 SemEval 2023 视觉词义消歧共享任务中荣获波斯语赛道的冠军以及多语言赛道的第三名。

    Apr, 2023