Sep, 2020

什么是语言无关性？探究多语句子编码器的类型学特性

PDF
TL;DR本文针对多种多语句子编码器，提出一种探究其对涵盖词汇、形态和句法结构的多种语言特性的表征方法，发现在不同的预训练策略下，编码不同语言特性的效果存在差异。
multilingualsentence encoderscross-lingual model transfertypological propertiespretraining strategies
发现论文，激发创造
  • 使用 X-Probe 探查多语言句子表示

    本文在多语言领域扩展了探究句子表示的任务，提供了五种语言的维基百科数据集，评估了六种语言的句子编码器在保留语言信息方面的表现。发现跨语言映射的句子表示通常比基于自然语言推理的英文编码器训练的表示更好地保留某些语言信息。

    Jun, 2019

  • 神经语言模型的语言学分析

    本文探究了神经语言模型（NLM）在调整细节后所学习到的语言知识及其对于多种分类问题的预测影响，结合多重探测任务发现，尽管 BERT 能够编码多种语言特征，但在特定的下游任务训练后往往导致相关信息丢失，而 BERT 对于不同语言属性的编码能力将正面影响它的预测能力。

    Oct, 2020

  • 预训练多语言表示的语言中立性

    本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

    Apr, 2020

  • 一种使用预先训练的自编码器进行跨语言语言转换的简单几何方法

    本文研究了在多语言训练中的强大的语句编码器，探讨了是否可以通过几何映射来间接地操纵语言属性，并用预训练的多语言自编码器验证了该方法的有效性。

    Apr, 2021

  • 多语言 BERT 有多少语言中性？

    本文讨论了 Multilingual BERT (mBERT) 的语义属性，表明 mBERT 表征可以分为特定语言和语言中立两个部分，语言中立部分可以高准确度地对齐单词和检索句子，但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表征的挑战，特别是对于需要语义语言转移的任务。

    Nov, 2019

  • 语言嵌入有时包含类型学概括

    在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。

    Jan, 2023

  • 通过语言类型分类探究单语 BERT 的语言学特征

    本文采用了语言类型相似性的新视角，通过观察不同语言的 transformers 在各自的层次上是否出现了相似性，利用层内加权矩阵来测量相似度，发现句法类型相似性与中间层的权重相似性一致，这一发现证实了通过句法探针 BERT 获得的结果，从而重要地确认了 BERT 在复制传统的语言模型。

    May, 2023

  • 探究预训练语言模型的词汇语义

    本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020

  • 同一神经元，不同语言：探究多语言预训练模型中的形态语法

    该研究采用神经元级别探测器，在包括 43 种语言的 14 个形态句法类别上进行了大规模的实证研究，并发现了多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预培训数据的大小而异，支持其能够对语法进行语言通用的抽象。

    May, 2022

  • Syntax-augmented Multilingual BERT 跨语言转移

    本研究表明，通过在辅助目标中提供语言语法和训练 mBERT 以对通用依赖树结构进行编码，可提高跨语言转移，从而提高了在四项 NLP 任务中的性能表现。

    Jun, 2021