Jan, 2023

多语言视觉问答的课程脚本蒸馏

PDF
TL;DR本文介绍了使用源语言和目标语言的翻译来课程式微调预训练模型，以用于跨语言的视觉问答任务。实验结果表明，脚本在这些模型的性能中起着重要作用。具有相同脚本的目标语言比其他语言表现更好，混合脚本的代码交换语言比其对应的语言表现更好。
pre-trained modelsdual and cross encoderslanguage translationsfine-tuningperformance
发现论文，激发创造
  • 使用知识蒸馏的跨语言视觉语言模型训练 (cViL)

    本文提出了一种使用英文模型作为基础，在日语和印地语等其他语言上进行视觉问题回答的模型训练方法，并采用并行句子的知识蒸馏方法，相较于使用目标语言进行预训练的模型，大大减少了资源开销。通过构建大规模视觉问题回答数据集，实现了比现有技术提高了 4.4％和 13.4％的准确性。

    Jun, 2022

  • 通过知识蒸馏开发多语言和混合编码的视觉问答系统

    提出一种基于知识蒸馏方法的英语语言 - 视觉模型拓展到同等效果的多语种和混合编码模型的方法，其使用多个中间层来逐步提取知识，同时在 11 种不同语言设置下创建大规模的多语种和混合编码的 VQA 数据集。

    Sep, 2021

  • 提升视觉问答中的跨语言泛化能力

    本研究探讨了多语言视觉语言模型在跨语言环境中表现欠佳的情况，并提出了三种策略以提高它们在零 - shot 跨语言视觉问答任务中的性能。实验证明，该 Fine-tuning 策略取得了一致的效果。

    Sep, 2022

  • 跨语言视觉问答深入探究

    该研究探讨了跨语言视觉问答的许多方面，包括输入数据、微调和评估方法，研究了不同多语言多模态变压器下不同问题类型的交互。该研究还针对训练数据和模型进行了广泛的分析，旨在进一步了解为什么在某些问题类型和语言中仍存在零 - shot 效果差距，从而指导多语言 VQA 的进一步发展。

    Feb, 2022

  • 未知文字：脚本对跨语言迁移的影响

    探索预训练模型的源语言对跨语言转移性能的影响，发现与脚本共享、语言类型匹配和模型大小相比，分词器是更重要的因素。

    Apr, 2024

  • UNKs 无处不在：将多语言语言模型适应新的字符集

    本文介绍了一种基于矩阵分解和词汇重叠的方法，能够快速适应预先训练的多语言模型以适应资源匮乏的语言和未知脚本，并且在这些语言中能够获得显著的性能提升。

    Dec, 2020

  • 句子编码任务的课程迁移学习

    通过数据操纵和语法分析引导的一系列预训练步骤（课程），在源任务与目标任务分布漂移时实现进一步逐步适应，相较于其他已知的预训练方法，在 MultiWoZ 任务方面取得了显著的改进。

    Aug, 2023

  • 跨语言脚本转化与对齐：用于混合编码数据的情感检测

    本研究提出了一种跨语言脚本知识共享架构，利用交叉关注和语言脚本的对齐来生成更好的文本表示，实验证明了该方法的有效性，并通过模型可解释性技术解释了语言特定表示之间的知识共享。

    Feb, 2024

  • 使用翻译增强的多语言问答转移学习

    本文探索了提高多语言问题回答的交叉语言转移性能的策略，包括使用机器翻译生成的数据来增强原始英语训练数据，以及提出两种新颖的策略：语言对抗性训练和语言仲裁框架，这些策略显著提高了零资源的交叉语言转移性能，并导致 LM 嵌入不那么语言特定的结果。经验证明，这些模型在最近推出的 multilingual MLQA 和 TyDiQA 数据集上优于以前的零 - shot 基线。

    Dec, 2020

  • 零样本跨语言问答的合成数据增强

    本研究提出了一种方法来改善跨语言问答的表现，利用问答生成模型以跨语言的方式生成合成数据，无需额外标注数据，并展示了在四个多语言数据集上的表现显著优于仅使用英文数据的基线模型，创造了新的最优性能水平。

    Oct, 2020