单向量处理何所能容：探究句子嵌入的语言特征

ACLMay, 2018

单向量处理何所能容：探究句子嵌入的语言特征

What you can cram into a single vector: Probing sentence embeddings for linguistic properties

Alexis Conneau, German Kruszewski, Guillaume Lample, Loïc Barrault, Marco Baroni

TL;DR本文介绍了 10 种用于捕捉句子简单语言特征的探针任务，使用这些任务来研究三个不同编码器训练的嵌入，并揭示了编码器和训练方法的有趣特性。

Abstract

Although much effort has recently been devoted to training high-quality sentence embeddings, we still have a poor understanding of what they are capturing. "Downstream" tasks, often based on sentence classification, are commonly used to evaluate the quality of sentence representations.

sentence embeddings downstream tasks linguistic features encoders training methods

发现论文，激发创造

句子嵌入在下游和语言探究任务中的评估

本文对最新的句子嵌入方法进行了全面评估，通过使用多样的下游和语言特征探测任务，表明与在蕴涵数据集上训练的句子编码器相比，使用具有深度上下文相关性单词嵌入的词袋模型可以在许多任务中产生更好的结果，但我们远未达成一个可以在多个下游任务中持续表现的通用编码器。

Jun, 2018

探究低资源语言句子嵌入：有关探究任务评估的结构设计选项

通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。

Jun, 2020

LINSPECTOR：用于词表示的多语言探针任务

该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

Mar, 2019

探究多模态嵌入在语言属性中的应用：视觉 - 语义案例

本篇论文提出了一种探测任务的方法，通过训练分类器来比较各种最新的文本 - 图像语义嵌入，揭示了语义嵌入中存在的问题并提出了问题解决方案。实验结果表明，视觉 - 语义嵌入的识别准确率比单媒体嵌入提高了 12% 以上。

Feb, 2021

Vec2Sent: 用自然语言生成探究句子嵌入

使用生成模型从灰盒句子嵌入中检索离散句子作为一项新的非监督探测任务，并表明其与下游任务性能的相关性，同时展示不同编码器生成的语言存在差异。应用该方法从句子嵌入中生成句子类比。

Nov, 2020

探测是否足够？指示性任务作为探测嵌入空间的替代方法

通过引入非可训练任务（指标任务），我们展示了利用适当的指标可以更准确地获取嵌入表示中的信息，并较之探测任务的结果更能反映嵌入空间中存在的属性。因此，我们认为在提取嵌入表示的信息时应考虑实施和考虑指标任务。

Oct, 2023

探究 Probing 方法范式：精度是否意味着任务相关性？

本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。

May, 2020

利用辅助预测任务进行句子嵌入的细粒度分析

通过对句子结构的预测任务来评估句子嵌入向量的表现，探讨了句子嵌入方法的相对优劣和向量维度对嵌入效果的影响。

Aug, 2016

神经关系抽取中句子级表示的语言特征探究

提出 14 个探测任务，以研究 40 多种编码器架构和语言特征组合所学习的表示，发现神经关系抽取的性能受编码器架构和语言特征的影响，上下文化单词表示可以提高性能，而实体掩蔽则会降低与实体类型相关的探测任务的性能。

Apr, 2020

探究上下文词向量的句子结构学习

研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

May, 2019