ACLJun, 2022

基于结构的排序：依赖探测的语言模型排名

PDF
TL;DR通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。
发现论文，激发创造
  • 语言模型分解：量化语言模型的依赖和相关性

    本文提出了一种基于线性依赖性的语言模型分解（LMD）方法，研究了预训练语言模型（如 BERT）之间的线性依赖关系，并且发现现有预训练语言模型之间高度相关，为了进一步推进最先进技术，需要更加多元化和新颖的模型。

    Oct, 2022

  • 通过学习排序进行语言建模

    通过使用预先训练的 GPT-2、BERT 和 Born-Again 模型来生成排名来避免标注排名，建立语言建模为排序任务的方法，并使用 $n$-gram 创建非概率性教师，证实我们可以将 $LMing$ 视为排序任务而不使用预先训练的 LM，并且在比较 KL-based KD 时通常通过统计显著性提高 perplexity。

    Oct, 2021

  • 有标注依赖树的探究

    DepProbe 是一个能够从嵌入中提取有标签和有向依赖解析树的线性探针，使用的参数较少，计算复杂度较低，并且在选择最佳转移语言以训练完整的双仿效注意解析器方面表现卓越。

    Mar, 2022

  • 预训练语言模型的话语探测

    本文使用七种预训练语言模型，运用七种篇章探测任务，将研究重点从句子级别上升到文档级别上，最终发现 BART 是捕获篇章信息能力最好的模型，但只有其编码器部分表现最佳，BERT 作为基准模型也出奇地表现良好，并且不同层次的模型对篇章信息的刻画效果，以及模型之间的差距巨大。

    Apr, 2021

  • 跨语言和语法下预训练模型的评估

    我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

    Sep, 2023

  • 解析作为预训练

    本文讨论了使用预训练架构（而非解码）进行单语种全刻度句法分析（成分和依赖）的问题，并使用序列标注作为模型，探讨了不同词向量的句法敏感性。实验分析显示，使用预训练编码器的结果优于现有序列标记解析器，F1 评分为 93.5％（PTB）和 78.8％（EN-EWT UD）的限制条件下。

    Feb, 2020

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • 从语言模型中归纳语言结构

    该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

    Mar, 2024

  • 促使语言模型理解语言结构

    使用结构化提示技术，我们证明了预先训练的语言模型（PLMs）可以在零或少量样本情况下执行标记任务，而不是仅靠表面级别的词汇模式，这表明 PLMs 包含了一种通用的语言学知识表示方式。

    Nov, 2022

  • 神经语言模型的语言学分析

    本文探究了神经语言模型（NLM）在调整细节后所学习到的语言知识及其对于多种分类问题的预测影响，结合多重探测任务发现，尽管 BERT 能够编码多种语言特征，但在特定的下游任务训练后往往导致相关信息丢失，而 BERT 对于不同语言属性的编码能力将正面影响它的预测能力。

    Oct, 2020