Jun, 2023

UAlberta 参加 SemEval-2023 任务 1：多语言视觉词义消歧的上下文增强和翻译

PDF
TL;DR本文讲述了 Alberta 大学团队在 SemEval-2023 视觉词义消歧（V-WSD）任务中的系统，使用 BabelNet 中检索到的注释、文本和图像编码器的组合的新算法。此外，我们将语言特定的编码器与应用于翻译文本的英语编码器进行比较。由于任务数据集中提供的上下文非常短，因此我们还使用语言模型生成的描述来增强这些上下文，从而显著提高了准确性。我们还描述并评估了使用图像生成和文本条件图像分割的其他 V-WSD 方法。总体而言，我们的官方提交结果将我们排名第 18，一些我们的非官方结果甚至比官方结果更好。
visual word sense disambiguationbabelnetimage encoderslanguage modeltext-conditioned image segmentation
发现论文，激发创造
  • 香港科技大学在 SemEval-2023 任务 1 中的视觉词义消歧：通过上下文增强和视觉辅助

    我们提出了一个多模态检索框架，充分利用了预训练的视觉 - 语言模型、开放知识库和数据集，通过处理上下文与目标词的含义进行匹配、使用提示模板整合匹配的描述和其他文本信息进行图像检索、融合不同模态的上下文信息并用于预测，为词义消歧和多模态学习领域带来了深刻的见解。

    Nov, 2023

  • UAlberta 参加 SemEval 2022 任务 2: 利用术语注释和翻译进行多语言成语检测

    该研究介绍了阿尔伯塔大学关于 SemEval-2022 任务 2 多语言惯用语检测的系统，研究者开发的两种方法在分别结合单词含义和翻译理解的基础上，使用现有的词汇知识，取得了有利的结果。

    May, 2022

  • 统一语义表示的多语言词义消歧

    本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧（MWSD）系统的方法，利用统一的语义表示，将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题，并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。

    Oct, 2022

  • 大型语言模型和多模态检索在视觉词义消歧中的应用

    通过多种方法，包括多模态检索、大型语言模型、问题回答以及学习排序模型等，本文深入研究了视觉词义消歧任务，以揭示其有趣的特性，为未来研究方向提供了有价值的启示。

    Oct, 2023

  • SemEval2023 任务 1 中的 OPI: 面向视觉词义消歧的图像 - 文本嵌入和多模态信息检索

    本研究提出采用多模态模型、排序学习以及基于知识的方法来进行词义消歧，并在 SemEval 2023 视觉词义消歧共享任务中荣获波斯语赛道的冠军以及多语言赛道的第三名。

    Apr, 2023

  • 通过对齐稀疏上下文化词表示来解决跨语言词义消岐中的多语言问题

    我们提倡在跨语言零 - shot 词义消歧中使用大型预训练单语语言模型，并结合一种上下文映射机制。我们通过字典学习过程获得了稀疏上下文化词表示，并进行了严格的实验，证明了上述改进带来了显著的提升，平均 F 分数增加了近 6.5 个百分点（从 62.0 增加到 68.5），涵盖了 17 种语言。我们在此网址发布了复制实验的源代码。

    Jul, 2023

  • MCL@IITK 在 SemEval-2021 任务 2 中：使用增强数据、信号和变压器进行多语言和跨语言上下文单词消歧

    本文介绍了解决 SemEval 2021 任务 2 的方法，即多语言和跨语言上下文词义消歧。通过使用预训练的基于 Transformer 的语言模型，包括 ELECTRA 和 ALBERT，对英语任务和 XLM-R 对所有其他任务进行微调，通过添加信号和数据增强来提高性能，在 Multilingual 任务中取得强的性能，在 Cross-Lingual 设置中实现零射击方法，使用我们的多语言模型，后者表现略好。

    Apr, 2021

  • 跨语言视觉动词义消歧

    本文介绍了一项较为具有挑战性的任务，即跨语言动词语义消歧，并提出了包含 9504 张图像的 MultiSense 数据集，该数据集标注有英语、德语和西班牙语动词。我们证明跨语言动词语义消歧模型在视觉背景下比单模基线表现更好，并且我们的最佳消歧模型所预测的动词意义在多模转换任务中可用于对纯文本机器翻译系统的改进。

    Apr, 2019

  • 视觉遇见定义：融合词汇信息的无监督视觉词义消岐

    本文介绍了一种使用基于词义的外部词汇知识库的无监督视觉词义消歧方法，该方法提出了一种利用贝叶斯推断来合并词义信息的方法，以及一种与 GPT-3 一起使用的上下文感知定义生成方法，实验结果显示，我们的方法显著提高了 VWSD 性能，并且对于具有更好性能的现有定义生成方法的 OOD 样例实现的明显性能提升。

    May, 2023

  • ArabGlossBERT: 基于上下文 - 词汇解释对的 BERT 微调用于 WSD

    本文介绍了使用预训练的 transformer 模型（例如 BERT）对阿拉伯语词义消歧（WSD）进行微调的工作。我们将 WSD 任务视为句子对二进制分类任务，并针对三个预先训练的阿拉伯 BERT 模型进行了微调，通过构建标记的阿拉伯文本 - 义项对数据集，实现了很好的结果（84% 的准确性）并使用不同的监督信号强调上下文中的目标词。

    May, 2022