Mar, 2023

借助字符级噪声对 BERT 进行微调，实现零 - shot 迁移到方言和密切相关的语言

PDF
TL;DR本文介绍了一种方法，通过在 fine-tuning BERT 模型时引入不同形式的字符级噪音，实现了对不同方言和语言的零 - shot 跨语言迁移。作者在三个句子级分类任务上 fine-tune BERT，并在若干未知的方言和语言上进行了评估。他们发现，在特定条件下，字符级噪音可以成为跨语言转移的极其有效的催化剂。特别是当任务依赖表层提示且源 - 目标跨语言语言对具有相对较高的词汇重叠，并且平均具有较短（即含义较少）的未知令牌时，fine-tuning 过程中引入字符级噪音可以帮助更好地完成任务。
bertcross-lingual transfercharacter-level noisesentence-level classificationlexical overlap
发现论文，激发创造
  • 通过注入字符级噪声改善密切相关语言之间的零样本跨语言转移

    通过在高资源语言中增加字符级噪音，我们提出了一种简单而有效的策略，以增强密切相关的语言之间的跨语言转移，从而提高 POS 标记和主题识别等任务的零样本转移能力。

    Sep, 2021

  • BERTwich: 扩展 BERT 模型用于建模方言化和嘈杂文本

    本文介绍了一种新颖的方法，即在 BERT 的编码器堆栈中插入额外的编码器层，用于对嘈杂文本进行遮蔽语言建模，以促进对方言文本的零转移能力，并减少单词与其噪声对应词之间的嵌入空间距离。

    Oct, 2023

  • 通过合成噪声训练，提高机器翻译的抗自然噪声鲁棒性

    本文提出通过引入随机合成的少量噪音来改善机器翻译中源文本字符级别波动的鲁棒性，从而提高对拼写错误等变异的覆盖率。作者表明，通过在训练时使用一些较为简单的合成噪音，可以实现对常见噪音（例如 Wikipedia 编辑日志中的修正）的鲁棒性，同时不会降低在规范文本上的表现。

    Feb, 2019

  • 跨语言调整上下文词表示对零 - shot 迁移的影响

    本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 从零到英雄：多语言 Transformer 的零 - shot 跨语言转移限制

    分析了 massively multilingual transformers 在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的 few-shot transfer 在多语言转换中十分有效。

    May, 2020

  • 可转移潜变量的零 - shot 跨语言对话系统

    本文针对零资源的多语言任务导向对话系统进行零样本自适应的提出，使用极少量的平行语词来优化对齐的跨语言词级表示，并采用潜变量模型处理不同语言间类似句子的变化，实验表明，我们的模型在零样本情况下对自然语言理解任务的适应性优于当前最先进的模型。

    Nov, 2019

  • Noise-BERT：噪音对齐预训练的统一扰动鲁棒框架用于噪音槽位填充任务

    提出了一种噪声对齐预训练的统一扰动鲁棒框架 Noise-BERT，用于解决对话系统中输入干扰对槽填充任务的挑战，通过引入对槽蒙版预测和句子噪声判别两个噪声对齐预训练任务，以提高语言模型对准确槽信息和噪声分布的抓取能力，并通过对比学习损失和敌对训练策略来增强模型的鲁棒性。实验结果表明，该方法在性能上优于现有模型，进一步分析证实了其有效性和泛化能力。

    Feb, 2024

  • 跨语言迁移的模型选择

    本论文展示了在辅助支点语言中提供少量注释数据可以更好地选择用于零 - shot 跨语言迁移的 fine-tuned models，并提出一种基于机器学习的方法用于模型选择，该方法使用 fine-tuned 模型的内部表示来预测其跨语言能力。在广泛的实验中，我们发现这种方法比使用英文验证数据一直可以跨越二十五种语言（包括八种低资源语言）选择更好的模型，并且通常可以达到使用目标语言开发数据进行模型选择的结果

    Oct, 2020

  • Beto, Bentz, Becas：BERT 的跨语言效果之惊人

    该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019

  • 重新审视鲁棒神经机器翻译：基于 Transformer 的案例研究

    本文介绍了一种名为 TAFT 的数据驱动技术，它利用 fine-tuning 策略加入噪声训练 Transformer 模型，并提出了两种新型技术 CD 和 DCD 以帮助模型更好地处理噪声，最终在英德翻译语料中实现更高的鲁棒性。

    Dec, 2020