ACLMar, 2022

基于重叠的词汇生成改进相关语言间的跨语言转移

PDF
TL;DR本文提出了一种名为 Overlap BPE 的用于增强低网络资源语言在多语言模型中表示的词汇生成算法，并通过多项实验表明，通过增加相关语言之间的词汇重叠度，可以在不降低高网络资源语言表示和准确性的前提下，提高相关低网络资源语言的零样本学习的效果。
multilingual language modelszero-shot cross-lingual transferlow-resource languagesbpe vocabulary generationtoken overlap
发现论文，激发创造
  • 神经机器翻译跨低资源、相关语言的迁移学习

    基于 Byte Pair Encoding 的转移学习方法对低资源语言进行神经翻译的改进，提高了翻译的质量。

    Aug, 2017

  • 利用词汇相似性实现极低资源语言的零 - shot 机器翻译

    本篇论文讨论了如何利用字符噪声注入方法，将近乎无资源语言翻译成英文，使其更能够适应高资源语言，并在多种语言家族的紧密相关语言对中得到了显著的优异表现。

    May, 2023

  • 利用语言相关性进行低网络资源语言模型适应：印度语言研究

    本文针对印度语言中不足文本资源的问题，提出了一种称为 RelateLM 的利用相关语言作为中间媒介的方法，通过音译和数据增强等技术，将限制资源语言文本转化到具备足够语料的相关语言中间站，从而提高多语言模型的适用性。

    Jun, 2021

  • 一种简单而有效的方法来提高零样本跨语言迁移学习

    本文提出一种无监督的跨语言嵌入转换方法，其中使用 Embedding-Push、Attention-Pull 和 Robust targets 来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零 - shot 跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

    Oct, 2022

  • 基于字节级子词的神经机器翻译

    本篇论文探讨了一种基于字节级子词（BBPE）的机器翻译模型，该模型比字符词汇表更紧凑且没有超出词汇表的令牌，并显示了与 BPE 相当的性能，BBPE 在跨多种语言的情况下最大化词汇共享并实现更好的翻译质量，同时使非重叠字符集的语言之间的模型传递成为可能。

    Sep, 2019

  • 使用词汇扩展提高预训练多语言模型的性能

    本文研究了两种方法（联合映射和混合映射）来解决预先训练的 BERT 多语言模型中的词汇表大小和词汇缺失问题，并在多个任务中进行了实验。结果表明，使用混合映射更有前途。这是首次在多语言环境下试图解决词汇缺失问题。

    Sep, 2019

  • 共享嵌入空间中跨语言性的大规模多语言分析

    本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用 BERT 和 BiLSTM 模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。

    Sep, 2021

  • 多语言翻译中的子词和跨语言转移的系统分析

    此研究探讨了子词切分在跨语言迁移中的作用，发现子词规范化提高了多语言建模的协同效应，而 BPE 在跨语言微调中更有效地促进了迁移，在子词建模方面的决策对于优化多语言建模的好处至关重要。

    Mar, 2024

  • 神经机器翻译中更好的子词划分

    本文提出将字节对编码（Byte Pair Encoding）引入到通用无监督框架中以解决翻译任务中由于罕见或未知单词对翻译效果的限制，经实验验证在德英和中英翻译任务中，使用 accessor variety 和 description length gain 进行优化能在不同程度上优于基线频率加权方案。

    Jul, 2018

  • 字节对编码是自动孟加拉语语音识别所需的全部

    通过实验证明，对于孟加拉语，Byte pair encoding (BPE) 是一种在自动语音识别（ASR）中改善识别性能的有效分词方法，较佳的 BPE token 数量为大约 500-1000 个。

    Jan, 2024