EMNLPSep, 2021

通过带不确定性估计的自我学习提升跨语言迁移

PDF
TL;DR提出了一种基于自学习的框架，结合目标语言的未标记数据和不确定性评估方法，使用三种不同的不确定性评估方法对跨语种传递的具体情况进行了分析， 并在包括 40 种语言的两个跨语种任务中评估了该框架，其中包括命名实体识别和自然语言推理，并在 NER 和 NLI 方面的平均性能分别超过了 10 F1 和 2.5 准确度得分的基线模型。
发现论文，激发创造
  • 大型语言模型的多语言置信度评估全面研究

    大语言模型中的虚假生成和过度自信在预测中引起对其可靠性的担忧，本文通过引入多语言置信度估计 (MlingConf) 对大语言模型进行全面调查，包括多语言问答数据集、置信度估计性能、跨语言置信度估计方法的提出，实验结果表明该跨语言置信度估计技术能显著提高置信度估计。

    Feb, 2024

  • 自我增强提高零 - shot 跨语言迁移

    提出一种称为 SALT 的简单而有效的方法，结合了代码混合和嵌入混合自增强，通过从多语言预训练语言模型中提取跨语言知识并增强其在下游任务中的可转移性，改进了零射击跨语言转移能力，而无需外部数据。

    Sep, 2023

  • 基于师生学习的单 / 多源跨语言实体识别技术在目标语言上使用未标注数据

    本文提出一种基于师生学习方法的跨语言命名实体识别学习方法，该方法能够更好地利用源语言和目标语言中的已标注和未标注数据，特别适用于多源跨语言学习，实验证明该方法在三种目标语言上均优于现有的最先进方法。

    Apr, 2020

  • 利用单语数据不确定性的自训练采样在神经机器翻译中的应用

    本文提出了一种基于不确定性采样的自训练方法，通过选择最具信息价值的单一语言句子来补充平行数据，以提高 NMT 的性能，在大规模数据集上进行实验证明了这种方法的有效性，并表明该方法能够提高翻译质量和预测低频单词。

    Jun, 2021

  • 不确定性感知学习的语言模型对齐

    我们提出了一种基于样本不确定性的学习方法，通过引入更能体现样本不确定性的模型，来改善不同任务情景下的模型对齐，实验证明我们的方法能显著提高模型性能和数据效率。

    Jun, 2024

  • ZGUL：使用多源适配器的零样本泛化到未见过的语言

    通过使用语言适配器（LAs）解决 NLP 任务中的零射击跨语言转移问题，并结合多个源语言的语言适配器进行训练和测试，展示了在 POS 标注和 NER 任务上相对标准微调和其他强基线模型平均 F1 分数提高了 3.2 个点的改进。

    Oct, 2023

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 自动语音翻译的跨语言转移学习改进

    本论文旨在通过语义知识蒸馏来改进多语言语音转文本翻译中的跨语言迁移学习。通过使用 SAMU-XLS-R 来初始化编码器，我们在 CoVoST-2 和 Europarl 语音转文本数据集上实现了比基线模型更好的交叉语言任务知识传输，其中平均提高了 12.8 个 BLEU 分数。在零 - shot 翻译情景下，我们在未见过的中低资源语言上平均提高了 18.8 分和 11.9 个 BLEU 分数。

    Jun, 2023

  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 通过自监督表示混合和嵌入初始化最大化跨语言 TTS 适应的数据效率

    本文介绍了一种有效的迁移学习框架，用于在文本转语音系统中进行语言适应，重点是通过使用尽可能少的标记和未标记数据实现语言适应。实验结果表明，我们的框架能够仅使用 4 个标记数据和 15 分钟未标记数据合成未知语言的可懂语音，还能在可获得更多数据的情况下超越传统技术，凸显了我们的高效语言适应框架的潜力。

    Jan, 2024