用于无监督探测句法的文本表达深度聚类

Oct, 2020

用于无监督探测句法的文本表达深度聚类

Deep Clustering of Text Representations for Supervision-free Probing of Syntax

Vikram Gupta, Haoyue Shi, Kevin Gimpel, Mrinmaya Sachan

TL;DR本文研究使用深度聚类的方法对文本表示进行无监督学习，旨在识别语法信息并实现句法归纳。通过将这些表示联合转换为较低维度的簇友好空间并对其进行聚类，我们验证了该方法的有效性。研究发现，多语言 BERT（mBERT）包含了与英语 BERT（EBERT）相似数量级的英语句法知识。提出的模型可作为无监督的监测方法，可以更加全面、准确地探测模型中的语法知识。我们的模型具备较好的泛化性能，能适用于不同语法形式和不同语种的情况。该方法在 45 个英语 POSI 标签上表现出较强的竞争力，在 10 种语言的 12 个标记 POS 上也取得了最新的研究成果。此外，我们还对语言贫瘠的语言进行了零样本的句法归纳，并取得了较好的效果。

Abstract

We explore deep clustering of text representations for unsupervised model interpretation and induction of syntax. As these representations are high-dimensional, out-of-the-box methods like KMeans do not work well. Thus, our approach jointly transforms the representations into a lower-d

deep clustering unsupervised learning syntax induction multilingual bert zero-shot learning

发现论文，激发创造

在多语言 BERT 中发现通用语法关系

本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

May, 2020

语法增强的预训练模型

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020

在双曲空间中探究 BERT

本研究使用 Poincare 探针将 contextualized word embeddings 映射到具有明确定义层次结构的 Poincare 子空间中，发现在句法子空间中我们的探针比欧几里德探针更好地恢复了树结构，同时在情感子空间中，我们揭示了正面情感和负面情感的两种潜在的元嵌入，并展示了词汇受控情境化将如何改变嵌入的几何定位。

Apr, 2021

BERT 上语法信息编码的演进

本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。

Jan, 2021

从上下文化单词表示中无监督地提取句法信息

本文讲述了如何通过自动生成语义不同但结果相似的句子组集来学习一种转换，以去除词法语义但保留结构信息，并证明这种方法在结构聚类方面的效果优于词汇语义聚类方法，最终在少样本解析任务中优于原始上下文化语言表示。

Oct, 2020

探究上下文词向量的句子结构学习

研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

May, 2019

LINSPECTOR：用于词表示的多语言探针任务

该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

Mar, 2019

自然语言多任务：分析和提高隐藏表示的句法显著性

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

DirectProbe: 无需分类器的表示研究

本研究基于任务版本的概念，通过发展一种启发式工具 DirectProbe 直接研究表示物的几何结构，揭示了嵌入空间如何表示标签，并预测了分类器的性能。

Apr, 2021

多语言 BERT 模型的词形句法探测

本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

Jun, 2023