使用正交结构探测器检查跨语言上下文嵌入

EMNLPSep, 2021

使用正交结构探测器检查跨语言上下文嵌入

Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes

Tomasz Limisiewicz, David Mareček

TL;DR该研究通过使用新型正交结构探针，针对比较语言特征研究并评估了 9 种不同语言中 mBERT 的语境表示所编码的句法和词汇结构信息，并发现对于与英语密切相关的语言，在跨语言嵌入空间中无需进行转换，而对于其他语言，则需要学习分别进行的正交转换。

Abstract

State-of-the-art contextual embeddings are obtained from large language models available only for a few languages. For others, we need to learn representations using a multilingual model. There is an ongoing deba

contextual embeddings multilingual model orthogonal structural probe syntactic structural information cross-lingual parsing

发现论文，激发创造

预训练多语言表示的语言中立性

本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

Apr, 2020

探针与解析器的故事

本研究对比了一个新型结构探针和传统解析器，发现两种方法在不同语言上效果并存，提出了关于使用哪种技术的问题。

May, 2020

共享嵌入空间中跨语言性的大规模多语言分析

本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用 BERT 和 BiLSTM 模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。

Sep, 2021

探究上下文词向量的句子结构学习

研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

May, 2019

通过线性结构探测研究变压器句子嵌入的语义子空间

以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

Oct, 2023

探究低资源语言句子嵌入：有关探究任务评估的结构设计选项

通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。

Jun, 2020

跨语言词嵌入模型调查

本文综述了跨语言词向量模型的具体类型，比较它们的数据需求和目标函数，并讨论了如何对跨语言词向量模型进行评估和未来研究的挑战。

Jun, 2017

来自平行句子的稳健跨语言嵌入

提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。

Dec, 2019

在双曲空间中探究 BERT

本研究使用 Poincare 探针将 contextualized word embeddings 映射到具有明确定义层次结构的 Poincare 子空间中，发现在句法子空间中我们的探针比欧几里德探针更好地恢复了树结构，同时在情感子空间中，我们揭示了正面情感和负面情感的两种潜在的元嵌入，并展示了词汇受控情境化将如何改变嵌入的几何定位。

Apr, 2021

无监督和半监督跨语言词嵌入学习的鲁棒性研究

本文通过大量的评估，分析了多种跨语言嵌入模型的优劣，特别是在目标语言，训练语料库和监督程度等不同方面的限制，从而对 “高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到” 的观点提出了质疑。

Aug, 2019