Jun, 2019

使用 X-Probe 探查多语言句子表示

PDF
TL;DR本文在多语言领域扩展了探究句子表示的任务，提供了五种语言的维基百科数据集，评估了六种语言的句子编码器在保留语言信息方面的表现。发现跨语言映射的句子表示通常比基于自然语言推理的英文编码器训练的表示更好地保留某些语言信息。
multilingual probingsentence encoderslinguistic informationparallel corpusnatural language inference
发现论文，激发创造
  • 探究低资源语言句子嵌入：有关探究任务评估的结构设计选项

    通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。

    Jun, 2020

  • LINSPECTOR：用于词表示的多语言探针任务

    该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

    Mar, 2019

  • 多任务双编码器模型学习跨语言句子表示

    探索了一种使用双编码器学习跨语言句子表示的自然环境，以克服多语言神经语言建模中标记化非英语数据的缺乏，并在许多单语、跨语言、零样本 / 少样本学习任务上对跨语言表示进行了全面评估，并分析了不同的跨语言嵌入空间。

    Oct, 2018

  • 什么是语言无关性？探究多语句子编码器的类型学特性

    本文针对多种多语句子编码器，提出一种探究其对涵盖词汇、形态和句法结构的多种语言特性的表征方法，发现在不同的预训练策略下，编码不同语言特性的效果存在差异。

    Sep, 2020

  • 从多语种句子编码器探究跨语言词汇知识

    本文将多语言预训练模型转化为多语言句子编码器，通过对句子编码器进行探索，采用基于对比学习的简单而高效的方法，揭示了句子编码器隐含的跨语言词汇知识，进而提供了一种利用跨语言词汇的工具。

    Apr, 2022

  • 评估跨语言句子表示的 XNLI

    本文提出了 XNLI 数据集用于跨语言句子理解的评估，并研究了多语言句子理解的基准和挑战。

    Sep, 2018

  • 对比学习的多语言表征蒸馏

    该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。

    Oct, 2022

  • 利用神经机器翻译学习联合多语句子表示

    本研究使用神经机器翻译框架跨越六种完全不同的语言，在学习联合句子表示方面。我们的目标是构建一种与语言无关的表示形式，有可能捕捉到基础的语义。我们定义了一种新的跨语言相似度衡量方式，对我们的模型学习出的 140 万个句子表示进行比较，并研究了相似句子的特征。实验证据表明，嵌入空间中相似的句子实际上具有高度的语义相关性，但通常具有不同的结构和语法。这种关系也适用于不同语言之间的比较。

    Apr, 2017

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • 使用正交结构探测器检查跨语言上下文嵌入

    该研究通过使用新型正交结构探针，针对比较语言特征研究并评估了 9 种不同语言中 mBERT 的语境表示所编码的句法和词汇结构信息，并发现对于与英语密切相关的语言，在跨语言嵌入空间中无需进行转换，而对于其他语言，则需要学习分别进行的正交转换。

    Sep, 2021