Oct, 2023

GradSim：基于梯度的语言分组用于有效的多语言训练

PDF
TL;DR通过 GradSim 方法进行语言分组，与其他相似性度量方法相比，在多个多语言基准数据集上取得最大的性能提升，与跨语言模型性能更好相关。此外，研究还发现除语言特征外，数据集的主题对语言分组也起着重要作用，而 Transformer 模型的较低层编码语言特定特征，而较高层捕捉任务特定信息。
low-resource challengesmultilingual traininggradsimperformance gainslanguage grouping
发现论文，激发创造
  • Gradient Vaccine: 大规模多语言模型中的多任务优化研究和改进

    本文提出了 Gradient Vaccine，一种简单而可扩展的优化过程，可用于改进多语言模型的性能表现，从而获得显著的模型性能提升。通过捕捉多语言模型的梯度相似性，本文揭示了现有基于梯度的多任务学习方法的关键局限性，并揭示了在多语言优化中正确测量和利用语言相似性的重要性，其对多任务学习具有广泛的影响。

    Oct, 2020

  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023

  • 多语言基于实例的语言学习中的经验教训

    研究了多语言学习模型在何种条件下能够表现出更好的视觉语义嵌入，结果表明多语种训练比双语种训练有更好的效果，低资源语言受益于高资源语言的训练，注释同一组图像的多种语言获得了额外的提升。

    Sep, 2018

  • 超越对比学习：一种多语言检索的变分生成模型

    本文提出了一种新的多语种文本嵌入生成模型 —— VMSST，通过在 $N$ 种语言的并行数据上运行，通过一个引入的近似算法，在多语种语境中鼓励源分离，我们在比较学习多语种文本嵌入的对比和基于生成的方法时，对其进行了仔细的大规模比较，并对其进行了语义相似性、位文本挖掘、跨语言问题检索等任务的评估，从而证明了其优越性。

    Dec, 2022

  • SemEval-2023 任务 12 中的 UIO：低资源语言情感分类的多语言微调

    本研究旨在探讨如何利用多语言大型语言模型进行非预训练语言的情感分析，实验结果表明在提供的数据集中，使用数千样本的单语言微调可以获得最佳效果。

    Apr, 2023

  • mPLM-Sim：多语言预训练语言模型中更好的跨语言相似性和迁移揭示

    本文提出了一种新的多语言相似性度量方法 mPLM-Sim，通过从 mPLMs 中使用多语言并列语料库感知不同语言之间的相似性，结果表明该方法较传统的语言相似性度量方法具有更高的相关性，并在零 - shot 跨语言转移任务中展现了更好的效果。

    May, 2023

  • 结合深度生成模型和多语言预训练进行半监督文档分类

    本文结合半监督深度生成模型与多语预训练技术，设计了一套用于文档分类的流程，在多个语种的低资源场景中表现出极强的竞争力，胜过现有最先进的方法。

    Jan, 2021

  • 印地语作为第二语言：利用语义相似的样本改进基于视觉的语音

    本研究旨在从多语言角度探讨视觉引导语音模型（VGS）的学习。研究发现，将高资源语言的知识转化为低资源语言的知识可以提高跨模态检索任务中低资源语言的性能，对此，文章提出了两种方法：（1）使用强大的预训练高资源语言编码器和（2）使用语义相似的口语字幕。通过实验证明，这两种方法结合起来可以有效地使低资源语言的表现超越单语和双语对应物。

    Mar, 2023

  • 通过软对比学习改善多语言对齐

    提出新的方法来对齐多语种嵌入，基于单语种嵌入模型中句子的相似性测量；实验证明我们的方法在多语种数据集上表现出色，优于现有的多语种嵌入方法和对比损失方法。

    May, 2024

  • 对比学习的多语言表征蒸馏

    该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。

    Oct, 2022