EMNLPApr, 2021

语言依存关系和统计依赖性

PDF
TL;DR本文利用大型预训练语言模型计算单词之间的基于上下文的互信息（CPMI）来探究单词之间的语言依存关系，发现 CPMI 依存关系的匹配分数较高，但相对于黄金标准语言依存关系仍相对较简单，分析了 CPMI 依存关系对于语言依存关系的捕捉优势及大型预训练语言模型训练方案对 CPMI 依存关系类型的影响。
linguistic dependenciesstatistical dependencepretrained language modelscpmipsycholinguistics
发现论文，激发创造
  • 掩蔽语言模型的归纳偏好：从统计学到句法依赖

    研究预训练语言模型如何通过无监督学习中的遮盖和预测标记产生语言结构和改进下游性能；理论认为，预训练语言模型通过遮盖具有暗示下游任务的填空作用，获得有用的归纳偏见。本文构建了类似填空的掩码，并用于三个不同的分类数据集，证明了预训练模型的绝大部分性能提升来自没有与词典关联的通用掩码；我们演示了掩码语言模型（MLM）目标与学习图形模型中的统计依赖的现有方法之间的对应关系，并利用这一点派生出一种提取该模型中学习到的统计依赖的方法，这些依赖以句法结构的形式编码。通过对暗示的统计依赖结构进行最小生成树的无监督解析评估，在无监督解析方面，简单地形成最小生成树优于经典的无监督解析方法（58.74 vs. 55.91 UUAS）

    Apr, 2021

  • 语言模型分解：量化语言模型的依赖和相关性

    本文提出了一种基于线性依赖性的语言模型分解（LMD）方法，研究了预训练语言模型（如 BERT）之间的线性依赖关系，并且发现现有预训练语言模型之间高度相关，为了进一步推进最先进技术，需要更加多元化和新颖的模型。

    Oct, 2022

  • 基于结构的排序：依赖探测的语言模型排名

    通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。

    Jun, 2022

  • 关于依赖距离、交叉依赖和句法分析的关系。对刘海涛等人提出的 “依赖距离：自然语言句法模式的新视角” 的评述

    Liu et al. (2017) provides a comprehensive report on research of dependency distance in human languages, while also identifying areas where computational linguistics can inform research on this subject, potentially leading to improved understanding of language evolution and effective computer systems.

    May, 2017

  • 评估统计语言模型作为实用推理器

    本文考察了大型语言模型对语言习得中的概率关系和上下文敏感性建模的能力，并针对基于强度先验条件的语境下的 pragmatism utterances 进行了阈值估计实验。结果表明该方法成功地推导出了一些复杂 pragmatic utterances 相关的人类类似信息分布，但对于否定的组成较为困难。

    May, 2023

  • 信息检索的非组合式术语依赖

    该研究探讨信息检索中词项的依赖关系及其影响，提出了用词的词频和语义证据相结合的方法处理查询中的依赖词项，并将其应用于非组成性短语，通过马尔科夫随机场的排名提高了检索效率。

    Jul, 2015

  • 针对跨语言依存句法分析的目标语言感知受约束推断

    本研究探讨了在跨语言依存分析中，语言的语言属性如何进行有效应用，通过使用语义知识等多种语言语料库统计数据对推理过程进行指导，使用拉格朗日松弛和后验正则化等技术来进行推理，实验表明拉格朗日松弛和后验正则化的推理显着提高了 19 个目标语言中的 15 个和 17 个的性能表现，尤其是对于源语言不同的目标语言。

    Sep, 2019

  • 基于 PMI 矩阵逼近的简单语言模型

    该研究介绍了一种新的学习语言模型的方法，通过训练模型估计词 - 上下文点间互信息（PMI），并通过 PMI 在测试时求出所需的条件概率。

    Jul, 2017

  • 评估密切相关语言间相互可理解性的计算模型

    通过使用线性判别学习者以及多语义向量和多语言音类的多语言建模方法，该研究提供了一种计算方法来自动化测试语言之间的相互可理解性，并发现模型的理解准确性取决于词尾的自动修整和测试的语言对。

    Feb, 2024

  • 句法依存距离的分布

    本文提出了一种新的双指数模型，探讨了句子的句法结构和依赖距离分布及其与短期记忆限制之间的关系，并通过最近引入的优化分数，解释了最佳估计模型与句法依赖的紧密程度之间的关系。

    Nov, 2022