ACLJun, 2024

翻译需改进：对跨语言视觉问答翻译现象的分析

PDF
TL;DR建立一个可靠的跨语言视觉问答系统是一个具有挑战性的问题，主要原因是在训练过程中缺乏丰富的样本。为了解决这一问题，最近的研究采用了机器翻译系统进行跨语言视觉问答任务。然而，我们的分析发现翻译文本具有独特的特征，与人工编写的文本不同，被称为翻译人工痕迹。我们发现这些痕迹可以对模型产生显著影响，通过在不同的模型、语言和翻译过程上进行广泛实验证实了这一点。鉴于此，我们提出了一种简单的数据增强策略，可以缓解翻译人工痕迹的不利影响。
发现论文，激发创造
  • 跨语言视觉问答深入探究

    该研究探讨了跨语言视觉问答的许多方面，包括输入数据、微调和评估方法，研究了不同多语言多模态变压器下不同问题类型的交互。该研究还针对训练数据和模型进行了广泛的分析，旨在进一步了解为什么在某些问题类型和语言中仍存在零 - shot 效果差距，从而指导多语言 VQA 的进一步发展。

    Feb, 2022

  • 跨语言迁移学习中的翻译误差

    研究报告发现人工和机器翻译在跨语言学习中的影响，翻译过程会引入细微的错误，影响到跨语言模型的准确性。在此基础上，对 XNLI 测试和零样本学习进行改进，取得了 4.3 和 2.8 个百分点的提升。

    Apr, 2020

  • MaXM：面向多语言视觉问答的模型

    本文提出了可伸缩的解决方案，涉及多语言视觉问答（mVQA）的数据生成和建模，最终在 13 种语言中展现出强大性能，同时也创造了 MaXM（一个在 7 种不同语言下的纯测试数据集），从而使得 mVQA 不仅限于英语，而是扩展到其他语言中。

    Sep, 2022

  • 使用翻译增强的多语言问答转移学习

    本文探索了提高多语言问题回答的交叉语言转移性能的策略，包括使用机器翻译生成的数据来增强原始英语训练数据，以及提出两种新颖的策略：语言对抗性训练和语言仲裁框架，这些策略显著提高了零资源的交叉语言转移性能，并导致 LM 嵌入不那么语言特定的结果。经验证明，这些模型在最近推出的 multilingual MLQA 和 TyDiQA 数据集上优于以前的零 - shot 基线。

    Dec, 2020

  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019

  • 跨语言视觉问答

    本文提出了 xGQA，一个用于跨语言视觉问答任务的新的多语言评估基准，并使用适配器方法将多模型变换器模型扩展为多语言模型，结果表明简单的跨语言模型转移会导致多语言多模态失配，需要更复杂的方法来进行跨语言视觉和多语言语言建模

    Sep, 2021

  • 提升视觉问答中的跨语言泛化能力

    本研究探讨了多语言视觉语言模型在跨语言环境中表现欠佳的情况，并提出了三种策略以提高它们在零 - shot 跨语言视觉问答任务中的性能。实验证明，该 Fine-tuning 策略取得了一致的效果。

    Sep, 2022

  • 走向更加公平的问答系统：需要多少更多的数据？

    本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

    May, 2021

  • 学习回答多语言和混合代码问题

    本论文聚焦于在多语言环境下推进处理末端用户问题的 QA 技术，涉及多语性和混编等问题并提出了一种多文档利用的多跳问题生成技术，实验证明该方法可在 MQA、VQA 和语言生成等多个领域和语言中达到最先进的表现，是通用的，可用于提高 QA 系统性能。

    Nov, 2022

  • 面向多语言音视频问答

    本文旨在将音视频问答（AVQA）扩展到多语言环境。我们利用机器翻译提出了两个多语言 AVQA 数据集，涵盖了八种语言，并引入了 MERA 框架，该框架利用了先进的视频、音频和文本基础模型来进行多语言 AVQA 的基准测试。我们相信这项工作将开辟新的研究方向，并为未来的多语言 AVQA 提供参考基准。

    Jun, 2024