Oct, 2022

一种简单而有效的方法来提高零样本跨语言迁移学习

HTML
PDF
TL;DR本文提出一种无监督的跨语言嵌入转换方法，其中使用Embedding-Push、Attention-Pull和Robust targets来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零-shot跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。
发现论文，激发创造
  • 基于跨语言预训练的零-shot神经机器翻译迁移

    通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言NMT方法。

    Dec, 2019

  • 关于上下文嵌入零样本跨语言评估的不使用英语开发

    本文研究了多语言语境嵌入在零样本跨语言迁移学习上的表现，并发现使用英语进行零样本设置时很难获得可重复的结果和一致的检查点，建议在零样本结果旁边提供oracle分数，通过避免任意差的检查点使结果更一致。

    Apr, 2020

  • 从零到英雄：多语言Transformer的零-shot跨语言转移限制

    分析了massively multilingual transformers在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的few-shot transfer在多语言转换中十分有效。

    May, 2020

  • 细看少样本跨语种迁移：Shot数量的选择很关键

    本研究针对少样本跨语言迁移问题进行了试验设计和成功案例分析，并提出了集成功效设计的实验方案。通过对六个不同自然语言处理任务的40组样本进行分析，阐明了字典特性在少样本迁移中的作用，并证明了简单的完整模型微调方法在少样本迁移中的有效性。同时，开放了部分样本，为标准化的跨语言实验设计提供了参考。

    Dec, 2020

  • 分析监督式NLP任务中的零样本跨语言迁移

    本文论述了跨语言零-shot迁移的问题，并通过对XLM-RoBERTa进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 通过鲁棒性训练提升零样本跨语言迁移学习

    本文提出了一种通过对抗样本和零样本跨语言转移失败案例进行联系的学习策略，采用对抗性训练和随机平滑这两种方法来训练多语言编码器更加强健的模型，实验结果表明，强健训练可以提高零样本跨语言数据分类任务中的性能，尤其在输入语句属于两种不同语言的情况下，改进更为显著。

    Apr, 2021

  • 重审零样本跨语言转移中英语的首要地位

    本文对于使用不同语言进行零样本跨语言转移的多语言模型进行了研究，发现高资源语言如德语和俄语在多数情况下能够更加有效地进行迁移学习，即使训练集是自动从英语翻译而来。同时，该结论对于多语言零样本系统有着重要影响，并且应该指导未来的基准设计。

    Jun, 2021

  • 跨语言调整上下文词表示对零-shot迁移的影响

    本研究使用已训练好的mBERT模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 无平行语料的零样本跨语言迁移

    通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

    Oct, 2023

  • 零样本跨语言迁移学习与信息提取的多源和目标语言：语言选择与对抗训练

    本研究针对现有多语言信息提取研究中存在的局限性，提供了一种针对多语言跨转移学习的详细分析。通过探讨语言之间的距离以及结合的语言距离度量，研究揭示了在零样本多语言设置中优化数据选择的问题，从而为实现更广泛的多语言信息提取系统奠定基础。

    Nov, 2024