基于语义图的语法简化:从LLM时代再探讨
将从“抽象意义表达”(AMR)生成的过程分解成两个步骤,即首先生成句法结构,然后生成表面形式,从而实现了最先进的单模型性能,同时生成了与原 AMR 图形意义相同的句法释义。
Apr, 2018
本文提出了一种基于预处理的强化语言模型和基于回环一致性的重新评分相结合的方法,有效地生成表征意义的AMRs数据的文本,并在英语LDC2017T10数据集上的表现优于以往的所有技术,包括transformer架构。
May, 2020
本文提出了一个利用无监督学习和启发式方法对抽象意义表示(AMR)图组件与英语句子跨度进行对齐的算法,避免了单独的句法分析,提高了节点和边缘的覆盖率和准确性,并发布了LEAMR数据集和对齐器供AMR解析、生成和评估研究使用。
Jun, 2021
探索将预训练的序列到序列语言模型与结构感知的基于转换的方法相集成,在提高AMR解析效果的同时保持先前基于转换的方法的优质属性,从而使模型更简单、更可靠。
Oct, 2021
本文介绍了一种简单的算法,可将超句级的共指标注转化为统一的图表达方式,避免了信息合并的信息损失和不协调的问题。通过改进Smatch度量方法,使其可以用于比较文档级别的图形,并用它来重新评估最佳发布的文档级AMR解析器,同时提供了一个将AMR解析器和共指消解系统相结合的管道方法,这为未来的研究提供了一个强大的基准。
Dec, 2021
本文研究了利用图形自监督训练来提高PLMs模型在AMR图结构上的结构意识; 它同时介绍了两种图形自编码策略,四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在AMR分析和AMR-to-text生成方面的优越性。
Mar, 2022
本文提出了LeakDistill,通过使用结构适配器显式地将图形信息纳入到学习表示中,使用自知识蒸馏技术,无需使用额外数据就可以获得最先进的AMR解析性能。
Jun, 2023
通过比较 GPT-3、ChatGPT 和 GPT-4 模型的分析结果,研究发现这些模型能够可靠地重现 AMR 的基本格式,并且通常能够捕捉到核心事件、论证和修饰结构,但模型的输出容易出现频繁和重大错误,从整体上来看,即使在演示中,模型也几乎没有成功地产生完全准确的解析结果,这表明这些模型尽管能够捕捉到语义结构的某些方面,但在支持完全准确的语义分析或解析方面仍存在关键的局限性。
Oct, 2023
在大语言模型( LLMs )时代,本文调查了语义表征在LLMs时代中的作用,并探讨了Abstract Meaning Representation (AMR)对五个不同自然语言处理任务的影响。通过提出了一种名为AMRCoT的AMR驱动的思维链提示方法,我们发现它通常会使性能下降。通过一系列分析实验,我们发现很难预测AMR在哪些输入示例上能帮助或妨碍,但错误通常出现在多词表达式、命名实体以及LLM在最终推理步骤中必须将其基于AMR的推理与预测相连接的地方。因此,我们建议将来关注这些领域的语义表征工作。
May, 2024