Jul, 2024

基于语义图的语法简化:从LLM时代再探讨

HTML
PDF
TL;DR通过 AMRS$^3$ 方法，我们发现语义图在句法简化中具有帮助作用，并提出了 AMRCoC 方法来引导 LLM 在 AMR 图上执行符号推理算法，从而提高语义中心任务（如句法简化）的性能。
发现论文，激发创造
  • 通过语法分解AMR生成

    将从“抽象意义表达”（AMR）生成的过程分解成两个步骤，即首先生成句法结构，然后生成表面形式，从而实现了最先进的单模型性能，同时生成了与原 AMR 图形意义相同的句法释义。

    Apr, 2018

  • GPT-too：一种以语言模型为首选的AMR-to-text生成方法

    本文提出了一种基于预处理的强化语言模型和基于回环一致性的重新评分相结合的方法，有效地生成表征意义的AMRs数据的文本，并在英语LDC2017T10数据集上的表现优于以往的所有技术，包括transformer架构。

    May, 2020

  • 注入语义依存关系的微调

    应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高NLU任务的性能。

    Dec, 2020

  • 用概率和结构意识算法改进AMR对齐的多样性、准确性和覆盖范围

    本文提出了一个利用无监督学习和启发式方法对抽象意义表示（AMR）图组件与英语句子跨度进行对齐的算法，避免了单独的句法分析，提高了节点和边缘的覆盖率和准确性，并发布了LEAMR数据集和对齐器供AMR解析、生成和评估研究使用。

    Jun, 2021

  • 基于序列到序列Transformer的结构感知微调用于基于转换的AMR分析

    探索将预训练的序列到序列语言模型与结构感知的基于转换的方法相集成，在提高AMR解析效果的同时保持先前基于转换的方法的优质属性，从而使模型更简单、更可靠。

    Oct, 2021

  • DocAMR: 多句AMR表示和评估

    本文介绍了一种简单的算法，可将超句级的共指标注转化为统一的图表达方式，避免了信息合并的信息损失和不协调的问题。通过改进Smatch度量方法，使其可以用于比较文档级别的图形，并用它来重新评估最佳发布的文档级AMR解析器，同时提供了一个将AMR解析器和共指消解系统相结合的管道方法，这为未来的研究提供了一个强大的基准。

    Dec, 2021

  • AMR解析和生成的图形预训练

    本文研究了利用图形自监督训练来提高PLMs模型在AMR图结构上的结构意识； 它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在AMR分析和AMR-to-text生成方面的优越性。

    Mar, 2022

  • 基于Transformer的AMR解析中的图信息合并

    本文提出了LeakDistill，通过使用结构适配器显式地将图形信息纳入到学习表示中，使用自知识蒸馏技术，无需使用额外数据就可以获得最先进的AMR解析性能。

    Jun, 2023

  • 您是一位专业的语言标注专家”：LLMs作为抽象意义表达分析器的限制

    通过比较 GPT-3、ChatGPT 和 GPT-4 模型的分析结果，研究发现这些模型能够可靠地重现 AMR 的基本格式，并且通常能够捕捉到核心事件、论证和修饰结构，但模型的输出容易出现频繁和重大错误，从整体上来看，即使在演示中，模型也几乎没有成功地产生完全准确的解析结果，这表明这些模型尽管能够捕捉到语义结构的某些方面，但在支持完全准确的语义分析或解析方面仍存在关键的局限性。

    Oct, 2023

  • 大型语言模型时代的语义表示分析

    在大语言模型( LLMs )时代，本文调查了语义表征在LLMs时代中的作用，并探讨了Abstract Meaning Representation (AMR)对五个不同自然语言处理任务的影响。通过提出了一种名为AMRCoT的AMR驱动的思维链提示方法，我们发现它通常会使性能下降。通过一系列分析实验，我们发现很难预测AMR在哪些输入示例上能帮助或妨碍，但错误通常出现在多词表达式、命名实体以及LLM在最终推理步骤中必须将其基于AMR的推理与预测相连接的地方。因此，我们建议将来关注这些领域的语义表征工作。

    May, 2024