Jun, 2020

探究低资源语言句子嵌入：有关探究任务评估的结构设计选项

PDF
TL;DR通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。
发现论文，激发创造
  • 单向量处理何所能容：探究句子嵌入的语言特征

    本文介绍了 10 种用于捕捉句子简单语言特征的探针任务，使用这些任务来研究三个不同编码器训练的嵌入，并揭示了编码器和训练方法的有趣特性。

    May, 2018

  • 使用 X-Probe 探查多语言句子表示

    本文在多语言领域扩展了探究句子表示的任务，提供了五种语言的维基百科数据集，评估了六种语言的句子编码器在保留语言信息方面的表现。发现跨语言映射的句子表示通常比基于自然语言推理的英文编码器训练的表示更好地保留某些语言信息。

    Jun, 2019

  • 探究 Probing 方法范式：精度是否意味着任务相关性？

    本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。

    May, 2020

  • LINSPECTOR：用于词表示的多语言探针任务

    该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

    Mar, 2019

  • 探针与解析器的故事

    本研究对比了一个新型结构探针和传统解析器，发现两种方法在不同语言上效果并存，提出了关于使用哪种技术的问题。

    May, 2020

  • 通过线性结构探测研究变压器句子嵌入的语义子空间

    以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

    Oct, 2023

  • 句子嵌入在下游和语言探究任务中的评估

    本文对最新的句子嵌入方法进行了全面评估，通过使用多样的下游和语言特征探测任务，表明与在蕴涵数据集上训练的句子编码器相比，使用具有深度上下文相关性单词嵌入的词袋模型可以在许多任务中产生更好的结果，但我们远未达成一个可以在多个下游任务中持续表现的通用编码器。

    Jun, 2018

  • 探测是否足够？指示性任务作为探测嵌入空间的替代方法

    通过引入非可训练任务（指标任务），我们展示了利用适当的指标可以更准确地获取嵌入表示中的信息，并较之探测任务的结果更能反映嵌入空间中存在的属性。因此，我们认为在提取嵌入表示的信息时应考虑实施和考虑指标任务。

    Oct, 2023

  • 信息论探针用于语言结构探索

    本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。

    Apr, 2020

  • DirectProbe: 无需分类器的表示研究

    本研究基于任务版本的概念，通过发展一种启发式工具 DirectProbe 直接研究表示物的几何结构，揭示了嵌入空间如何表示标签，并预测了分类器的性能。

    Apr, 2021