Oct, 2019

跨语言对齐与联合训练：比较研究和简单统一框架

HTML
PDF
TL;DR本文研究了两种多语言文本学习方法，即alignment和joint training，并提出了将这两种方法结合的框架。实验证明，该框架改善了现有方法的局限性，在MUSE双语词汇诱导（BLI）基准测试中性能优于现有方法，并在CoNLL跨语言NER基准测试上产生了最新的结果。
发现论文，激发创造
  • 无监督和半监督跨语言词嵌入学习的鲁棒性研究

    本文通过大量的评估，分析了多种跨语言嵌入模型的优劣，特别是在目标语言，训练语料库和监督程度等不同方面的限制，从而对“高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到”的观点提出了质疑。

    Aug, 2019

  • 来自平行句子的稳健跨语言嵌入

    提出一种基于双语CBOW方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零-shot跨语言文档分类任务方面达到深度RNN方法的水平，对单语词向量的提高优势明显。

    Dec, 2019

  • 共享嵌入空间中跨语言性的大规模多语言分析

    本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用BERT和BiLSTM模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。

    Sep, 2021

  • 多语言变形金刚编码器：基于词级别的任务无关评估

    本文提出一种单词级别的任务无关方法来评估多语言Transformers模型构建的上下文表示的对齐情况，并表明一些多语言Transformer模型的内部层表现优于其他明确对齐表示，甚至更符合更严格的多语言对齐定义。

    Jul, 2022

  • Cross-Align: 模拟深层跨语言相互作用以进行单词对齐

    提出一种基于多语言预训练模型的词语对齐方法，通过在浅层中利用共享的自注意力模块，将源语句和目标语句单独编码，而在较高层通过交叉注意力模块显式地构建跨语言交互，达到提高词语对齐质量的效果。通过采用两阶段训练框架，实现对模型的有效训练，实验结果在五对语言中有四对的性能达到了最新水平。

    Oct, 2022

  • 多语言变压器中对齐和跨语言转移之间的关系探究

    本文研究了多语言语言模型的跨语言转移，并通过证据表明，对翻译句子中的单词对进行重新对准可以在某些情况下显著提高跨语言转移，特别是使用双语词典而不是FastAlign提取对齐对的任务中。

    Jun, 2023

  • 机器翻译：跨语言预训练和跨语言迁移学习的桥梁吗？

    利用机器翻译作为持续训练目标来增强语言表示学习在跨语言学习中的作用研究发现，机器翻译无法增强多个跨语言自然语言理解任务中的跨语言表示学习，这对未来的跨语言转移研究有重要影响。

    Mar, 2024

  • 跨语言对齐的理解--综述

    近年来，跨语言对齐是多语言语言模型研究的一个活跃领域。本文概述了改进跨语言对齐的技术方法，并总结了该领域的见解。我们提供了对大量论文的定性总结结果。最后，我们讨论了这些见解不仅适用于已经深入研究这一主题的编码器模型，还适用于编码器-解码器甚至只有解码器的模型，并指出平衡语言中立和语言特定信息的有效权衡是关键。

    Apr, 2024

  • mOthello: 跨语言表示对齐和跨语言迁移在多语言模型中的出现时机

    预训练的多语言模型在交叉语言迁移方面展现出了能力，本研究旨在探讨学习语言中性表示的因素以及该表示是否足以促进交叉语言迁移。通过引入“锚定标记”，可以帮助跨语言表示对齐，而仅仅学习语言中性表示是不足以促进交叉语言迁移的。基于研究结果，提出一种新的方法 - 统一输出空间的多语言预训练 - 既能够诱导学习语言中性表示，又能促进交叉语言迁移。

    Apr, 2024

  • 共享跨语言空间中的对齐探索

    利用聚类方法探索多语言模型中的潜在概念，研究多语言嵌入之间的对齐和重叠程度，通过引入两个度量指标 CA 和 CO 进行定量分析，发现网络的深层对齐性较好，模型的微调增强了潜在空间中的对齐性，任务特定的校准有助于解释模型的零射击能力的出现。

    May, 2024