Apr, 2021

MCL@IITK 在 SemEval-2021 任务 2 中：使用增强数据、信号和变压器进行多语言和跨语言上下文单词消歧

PDF
TL;DR本文介绍了解决 SemEval 2021 任务 2 的方法，即多语言和跨语言上下文词义消歧。通过使用预训练的基于 Transformer 的语言模型，包括 ELECTRA 和 ALBERT，对英语任务和 XLM-R 对所有其他任务进行微调，通过添加信号和数据增强来提高性能，在 Multilingual 任务中取得强的性能，在 Cross-Lingual 设置中实现零射击方法，使用我们的多语言模型，后者表现略好。
发现论文，激发创造
  • XL-WiC: 用于评估语义上下文的多语言基准

    提出了一种多语言的词义消歧基准测试库（称为 XL-WiC），用于评估具有不同语言背景和资源可用性的模型，即使模型仅在英语数据上进行训练，仍能在跨语言学习中达到良好的性能。

    Oct, 2020

  • 多语言 LLM 通过对齐更好地进行跨语言上下文学习

    本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

    May, 2023

  • BLCU-ICALL 在 SemEval-2022 任务 1 中的定义建模跨注意力多任务框架

    本文介绍了 BLCU-ICALL 系统在 SemEval-2022 任务 1 中使用的 transformer-based multitasking framework，该框架通过交叉注意机制集成多种嵌入模型并通过掩码语言模型目标捕捉词条结构，同时还研究了一种简单有效的模型组合策略以提高鲁棒性，评价结果表明我们的方案非常有效。

    Apr, 2022

  • 自动语音翻译的跨语言转移学习改进

    本论文旨在通过语义知识蒸馏来改进多语言语音转文本翻译中的跨语言迁移学习。通过使用 SAMU-XLS-R 来初始化编码器，我们在 CoVoST-2 和 Europarl 语音转文本数据集上实现了比基线模型更好的交叉语言任务知识传输，其中平均提高了 12.8 个 BLEU 分数。在零 - shot 翻译情景下，我们在未见过的中低资源语言上平均提高了 18.8 分和 11.9 个 BLEU 分数。

    Jun, 2023

  • 多义词语境向量跨语言对齐

    本文提出了一种新颖的方法，在从双语词典中获取跨语言信号的基础上，通过利用上下文语境嵌入实现词义级别上的对齐，进而在多种语言之间预训练跨语言模型，以在诸如命名实体识别、情感分类等任务中获得表现上的突破。

    Mar, 2021

  • 使用综合数据工程技术提升多语言信息检索模型性能

    该论文介绍了如何通过数据工程技术来优化以多语言为基础的 transformer 模型以提高信息检索效率，该解决方案在 MIRACL 挑战赛中取得了显著成绩。

    Feb, 2023

  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 多语言文本编码器在跨语言检索中的应用

    通过系统实证分析，我们发现预训练的最新型多语言编码器并不能显著超越早期基于跨语言单词嵌入的模型在无监督文档级和句子级交叉语言信息检索方面的性能，但在经过监督学习优化的条件下，可在句子检索中取得最高准确率，并通过局部相关性匹配和对特定领域对比微调等方法最大程度提升排名质量，还揭示了基于单语数据训练的检索模型会出现 “单语过度拟合” 的现象，这与针对特定目标语言的单语信息检索的交叉语言转移存在显著差异。

    Dec, 2021

  • UAlberta 参加 SemEval-2023 任务 1：多语言视觉词义消歧的上下文增强和翻译

    本文讲述了 Alberta 大学团队在 SemEval-2023 视觉词义消歧（V-WSD）任务中的系统，使用 BabelNet 中检索到的注释、文本和图像编码器的组合的新算法。此外，我们将语言特定的编码器与应用于翻译文本的英语编码器进行比较。由于任务数据集中提供的上下文非常短，因此我们还使用语言模型生成的描述来增强这些上下文，从而显著提高了准确性。我们还描述并评估了使用图像生成和文本条件图像分割的其他 V-WSD 方法。总体而言，我们的官方提交结果将我们排名第 18，一些我们的非官方结果甚至比官方结果更好。

    Jun, 2023

  • 从分类到生成：跨语言检索增强 ICL 的见解

    通过利用跨语种检索增强的上下文学习（CREA-ICL）方法，从高资源语言中提取语义相似的提示，以改善多语言预训练语言模型（MPLMs）在各种任务中的零样本性能，本文研究了大型语言模型在低资源语言中上下文学习（ICL）性能的限制和挑战，并对检索增强的上下文学习在分类和生成任务中的性能动态提供了洞见。

    Nov, 2023