ACLFeb, 2019

多语境语境表示改善跨语言转移

PDF
TL;DR通过使用 Rosita 方法，我们训练了一个单一的语言模型，从多种语言的文本中产生了多语种上下文词表示。我们应用这种方法于英语 / 阿拉伯语和英语 / 汉语等不同语言对的建模，并应用于依存句法分析、语义角色标记和命名实体识别，与单语言和非上下文变体进行了比较。我们的结果进一步证明了使用多种语言共享表示的多语种学习的好处。
发现论文，激发创造
  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 预训练多语言表示的语言中立性

    本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

    Apr, 2020

  • 多语言神经语言模型：跨语言音标表示学习案例研究

    通过应用多语言情境下的共用符号表示和语言的语言信息来训练递归神经网络模型，我们介绍了多语言模型的思想，以解决建模音序列的问题，该问题中具有普遍符号发明和跨语言共享特征表示。实验结果表明，多语言模型比单语言模型具有更好的泛化性能和更高质量的语音特征表示。

    May, 2016

  • 上下文表示的语言知识和可迁移性

    该论文研究了利用大规模神经语言模型生成的上下文词表示对于自然语言处理任务的有效性及其可迁移性。结果表明，虽然这些表示在许多任务中表现出色，但对于需要细粒度语言知识的任务（如连词识别）而言，它们还不能胜任。此外，作者还比较了不同预训练和监督预训练方法对于任务训练的影响。

    Mar, 2019

  • 跨语言调整上下文词表示对零 - shot 迁移的影响

    本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 组合式分布式语义的多语言模型

    通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

    Apr, 2014

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 多语言 BERT 中跨语言能力和语言特异信息的研究

    本研究针对跨语言能力对多语言 BERT 进行了深入实验研究，发现数据大小和上下文窗口大小是跨语言能力的关键因素，探讨了多语言 BERT 中的语言特定信息，通过操作潜在表示控制多语言 BERT 的语言输出，实现了无监督令牌翻译，并提出了一种计算成本低但有效提高多语言 BERT 跨语言能力的方法。

    Apr, 2020

  • 多语言任务导向对话的情境语义解析

    通过机器翻译自动翻译对话数据集并使用新的上下文语义解析模型，该方法在多个数据集上提高了准确性并创建了高准确度的多语言对话数据集。

    Nov, 2021