COLINGSep, 2022

重新审视预训练语言模型提取短语结构句法分析的实际有效性

PDF
TL;DR本文提出了两种预先训练的语言模型的高级集成方法，证明这种新的解析范例可以通过引入一组异构的 PLM 使用我们的技术与常规的无监督解析器竞争。 此外，本文还探讨了 CPE-PLM 生成的树在实际中有用的一些情况，特别是在少量数据学习环境中，CPE-PLM 比典型的监督解析器更有效。
发现论文，激发创造
  • 基于预训练语言模型的多语言基于图表的成分句法分析提取

    本研究开发了一种基于图表的方法和有效的 top-K 集成技术，通过应用这种方法到多语言的预训练语言模型中，可以在集成和语言无关的方式下诱导出九种语言的句子的非平凡解析，同时发现了普遍的注意力头，这些头与句法信息的感知是一致的，验证了该方法的鲁棒性。

    Apr, 2020

  • 基于自注意力头的无监督成分句法分析

    本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。

    Oct, 2020

  • 基于 LLMs 的短语结构解析

    运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

    Oct, 2023

  • CPTAM: 句法分析树聚合方法

    本文提出了一种基于真相发现想法的分句结构树聚合方法，分别从结构聚合和成分标签聚合两步着手，结果表明该方法相较于现有聚合基线方法有较好的聚合表现，并且得到的权重能充分评估常见的句法结构分析方法。

    Jan, 2022

  • 多语言解析与生成的预训练语义模型

    本文介绍了基于话语表示结构的多语言预训练语言含义模型，在预训练阶段包括语义表示，并采用交叉语言迁移学习，以进一步提高非英语任务的性能。实验结果显示，该方法在多语言 DRS 解析和 DRS 到文本生成任务上实现了最佳性能。

    May, 2023

  • 预训练语言模型在中文语法错误修正的模型集成中的应用

    探索基于预训练语言模型（PLMs）计算的困惑度（PPL）的模型集成策略，以增强语法错误校正（GEC）系统，但得出一个出乎意料的结果，即基于 PLMs 的集成无法提高性能，详情需要进行评估可扩展性和改进测试数据。

    May, 2023

  • 利用预训练语言模型唤醒潜在的语义关系推理能力

    本文提出了一种基于擦除 - 唤醒方法的预训练语言模型的定位能力实验技术，并在四个数据集上进行了实证研究。实验证明，该方法可以唤醒潜在的实体定位，有望提高下游的语义解析模型，特别是在 text-to-SQL 的应用方面表现出了极大的潜力。

    Sep, 2021

  • 上下文扭曲揭示组成结构：遮蔽语言模型为隐含的解析器

    本文提出了一种新的基于上下文表示扰动评分的图表法提取已屏蔽语言模型中的句法树的方法，此方法在英语和八种语言的数据集上均表现出优异性能，能替代无监督语法分析方法。

    Jun, 2023

  • 基于 LLM 增强的跨领域短语结构句法分析的自学习

    通过结合大型语言模型（LLM）生成领域特定原始语料库的迭代过程，以及引入语法规则指导 LLM 生成原始语料库并建立伪实例选择标准等方法，本研究探索了自训练方法在跨领域句法分析中的应用，实验证明，自训练方法配备 LLM 在句法分析任务上胜过传统方法，且通过语法规则和置信度标准选择伪数据的组合效果最佳。

    Nov, 2023

  • MLP 指南针：当 MLP 与 PLM 相结合时学到了什么？

    本研究探讨了使用多层感知器（MLPs）模块是否可以进一步提高预训练语言模型（PLMs）捕捉语言信息的能力，实验结果表明 MLPs 确实可以增强 PLMs 对语言结构的理解能力。

    Jan, 2024