EMNLPOct, 2023

大型语言模型和多模态检索在视觉词义消歧中的应用

PDF
TL;DR通过多种方法，包括多模态检索、大型语言模型、问题回答以及学习排序模型等，本文深入研究了视觉词义消歧任务，以揭示其有趣的特性，为未来研究方向提供了有价值的启示。
visual word sense disambiguationmultimodal retrievallarge language modelschain-of-thought promptinglearn to rank model
发现论文，激发创造
  • 语言模型作为视觉词义消歧的知识库

    利用大型语言模型 (Knowledge Bases) 中存储的知识，通过适当的提示实现以零 - shot 方式检索 VL transformers 的性能改进，并将 Visual Word Sense Disambiguation 转化为纯粹的文本问答问题。

    Oct, 2023

  • 香港科技大学在 SemEval-2023 任务 1 中的视觉词义消歧：通过上下文增强和视觉辅助

    我们提出了一个多模态检索框架，充分利用了预训练的视觉 - 语言模型、开放知识库和数据集，通过处理上下文与目标词的含义进行匹配、使用提示模板整合匹配的描述和其他文本信息进行图像检索、融合不同模态的上下文信息并用于预测，为词义消歧和多模态学习领域带来了深刻的见解。

    Nov, 2023

  • 视觉遇见定义：融合词汇信息的无监督视觉词义消岐

    本文介绍了一种使用基于词义的外部词汇知识库的无监督视觉词义消歧方法，该方法提出了一种利用贝叶斯推断来合并词义信息的方法，以及一种与 GPT-3 一起使用的上下文感知定义生成方法，实验结果显示，我们的方法显著提高了 VWSD 性能，并且对于具有更好性能的现有定义生成方法的 OOD 样例实现的明显性能提升。

    May, 2023

  • 统一语义表示的多语言词义消歧

    本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧（MWSD）系统的方法，利用统一的语义表示，将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题，并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。

    Oct, 2022

  • 使用主题模型的基于知识的词义消歧

    本研究使用主题模型的形式设计了一种词义消歧系统，使其在上下文单词数线性增长的情况下扩展，该方法在 5 个英语全单词 WSD 数据集上进行的评估表明，其性能优于这一领域的当前最先进无监督知识为基础的 WSD 系统。

    Jan, 2018

  • 描绘模糊性：对 Winograd 模式挑战的视觉转折

    利用 GPT-4 生成提示并使用 Diffusion Attentive Attribution Maps (DAAM) 进行热图分析，我们引入了一个新的数据集 WinoVis，用于在多模态环境中对文本到图像模型进行代词消岐。通过对连续模型版本的评估，我们发现尽管有逐步的进展，Stable Diffusion 2.0 在 WinoVis 上的准确率仅为 56.7％，只略微超过随机猜测。进一步的错误分析确定了未来研究的重要方向，旨在提升文本到图像模型在解释和与复杂视觉世界交互的能力。

    May, 2024

  • SemEval2023 任务 1 中的 OPI: 面向视觉词义消歧的图像 - 文本嵌入和多模态信息检索

    本研究提出采用多模态模型、排序学习以及基于知识的方法来进行词义消歧，并在 SemEval 2023 视觉词义消歧共享任务中荣获波斯语赛道的冠军以及多语言赛道的第三名。

    Apr, 2023

  • 利用变分语义记忆的元学习进行词义消歧

    本文提出一种基于层次变分推理的语义记忆元学习模型，通过超网络的自适应记忆更新规则，大幅提高了少样本情况下的监督词义消歧的性能。

    Jun, 2021

  • DSTC8-AVSD：多模态语义 Transformer 网络及检索式词汇生成器

    提出了一种多模态语义变形器网络，基于注意力词嵌入层的变形器架构和查询单词嵌入层生成单词。该模型在 AVSD 任务中取得了优异的表现。

    Apr, 2020

  • 基于多注意力机制的新型神经序列模型用于词义消歧

    通过引入注意力机制，本文提出一种新的词义消歧方法，将多种语言特征的多重注意力权重结合在一起，构建了一个更加灵活的编码器 - 解码器模型，从而在实现高准确率的同时，缩小了模型与人类专家之间的差距。

    Sep, 2018