Apr, 2023

UniMax: 大规模多语言预训练中更公平、更有效的语言采样

PDF
TL;DR本文提出了一种新的采样方法 UniMax，可在平衡语言之间的差异并减轻尾部语言的过拟合的同时，提供更加均匀的头部语言覆盖，并在一系列多语言评估基准测试中证明了 UniMax 的优越性和其随着模型规模的增加而持续的优点。
pretrained modelsmultilingual languagesamplingunimaxoverfitting
发现论文，激发创造
  • 多语言神经机器翻译的平衡训练

    该论文提出一种利用数据得分器来自动学习如何加权训练数据以最大化所有测试语言性能的方法，优于传统启发式方法，并提供对优化语言的灵活控制。

    Apr, 2020

  • 为跨语言语言模型预训练分配大型词汇容量

    通过 VoCap 算法确定语言所需的词汇容量并使用 k-NN 目标采样来加速昂贵的 softmax，从而缓解词汇量增加的副作用，提高交叉语言模型的预训练速度和性能。

    Sep, 2021

  • 神经机器翻译对多语言分词训练中的语言不平衡的鲁棒性有多强？

    本研究分析研究了多语言经过语言不平衡的训练语料库的分词器，并发现在训练过程中，UNK 率和接近字符级别的特征对于下游任务的性能具有预警作用。同时，该研究还将分词器训练的语言采样与模型训练的采样区分开，并指出模型对后者更为敏感。

    Apr, 2022

  • BERTIN: 使用 Perplexity Sampling 高效预训练西班牙语言模型

    本文研究了大型语言模型的预训练，提出了一种数据选择技术，名为困惑采样，可以在更少的时间和数据量下，通过变压器模型的预训练实现与最先进模型相当的效果。该技术对开发人员有很大帮助。

    Jul, 2022

  • 多语种翻译中的鲁棒优化与数据不平衡问题

    本文提出了一种曲率感知任务缩放算法（CATS），该算法通过适应性地重新缩放来自不同任务的梯度，并且可以在考虑到数据不平衡的情况下，指导多语言训练进入曲率较低的邻域，并在所有语言中取得统一较低的损失，并且针对常见的数据失衡问题，CATS 可以有效提高多语言优化的效果，并在低资源性能方面取得了一致的改进，而不会损害高资源的性能表现。

    Apr, 2021

  • 如何实现平衡高效的多语言模型：既保护用户数据，又保持模型性能

    本文提出了一种基于教师 - 学生知识蒸馏的新型多语种训练技术，利用平衡（子采样）数据将单语教师模型的知识蒸馏到一个多语种学生中，可以提高自然语言处理系统中低资源语言的表现。

    Oct, 2022

  • 预训练的多语言模型在不同语言间的公平性是否相同？

    探讨预训练多语言语言模型的组公平性，通过创建一个新的平行洞察测试实例的多语言数据集（MozArt）及使用人口统计信息来评估三种多语言模型（mBERT，XLM-R 和 mT5），我们发现这三种模型在四种目标语言中表现出不同程度的组不公平性，例如在西班牙语中表现出接近相等的风险，但在德语中表现出高水平的不平等。

    Oct, 2022

  • 目标条件抽样：针对多语言神经机器翻译的优化数据选择

    本研究提出了一种名为目标条件采样（TCS）的有效算法，该算法基于构建一个覆盖所有多语数据的采样分布，从而最小化低资源语言的训练损失。实验结果表明，TCS 可显著提高三种测试语言的 BLEU 值，最多可达 2，同时训练开销极小。

    May, 2019

  • 多语言自监督和弱监督语音预训练与适应未见语言的比较

    本文研究了两个多语言语音模型在适应未见语言上的性能比较，发现模型的预训练数据中包含的语言家族数量和训练时长能预测模型的表现，与预训练方法的差异不相关。

    May, 2023

  • 寻找有效的多语言微调方法：摘要中的案例研究

    本文针对文本摘要领域的多语言学习，对三种多语言调优策略（共五个模型）进行广泛的实证评估，实验覆盖 45 种语言，旨在为多语言调优策略设计提供参考。实验结果在 XL-Sum 数据集上取得了新的最佳表现。

    Dec, 2022