使用基于 AMR 的语义操作进行对话连贯性评估

ACLMar, 2022

使用基于 AMR 的语义操作进行对话连贯性评估

DEAM: Dialogue Coherence Evaluation using AMR-based Semantic Manipulations

Sarik Ghazarian, Nuan Wen, Aram Galstyan, Nanyun Peng

TL;DR提出使用抽象含义表示 (AMR) 进行语义级别操纵的对话连贯性评价标准 (DEAM)，在多个对话数据集上，DEAM 与人类判断的相关性高于基准方法，且能够区分基准操纵生成的连贯和不连贯的对话，DEAM 具有语义级别的操纵和自然的负样本生成潜力。

Abstract

automatic evaluation metrics are essential for the rapid development of open-domain dialogue systems as they facilitate hyper-parameter tuning and comparison between models. Although recently proposed trainable conversation-level metrics have shown encouraging results, the quality of t

automatic evaluation metrics trainable conversation-level metrics abstract meaning representation semantic-level manipulations dialogue coherence evaluation metric

发现论文，激发创造

对话建模的语义表示

我们使用抽象意义表示（AMR）来协助神经对话建模，将 AMR 图形构建到对话系统中会更显著地提高对话理解和响应生成任务的效果。

May, 2021

基于语义的对话理解预训练

本研究提出了一种基于语义学的预训练框架，使用抽象含义表示（AMR）来捕捉对话中的核心语义信息，实验证明其在闲聊和任务导向对话的理解上比标准预训练框架更具优势，并且是首次在对话预训练中利用了深层语义表示。

Sep, 2022

结构化信息的重要性：将抽象意义表示引入到 LLMs 中以提高开放域对话评估

我们提出了一个简单而有效的开放域对话评估框架，通过将领域特定语言模型（SLMs）与 LLMs 结合起来，明确地通过门控机制将对话的抽象意义表示（AMR）图信息融入到 LLM 的提示中，以提高上下文学习性能，并在开放域对话评估任务中的实验结果证明了我们方法在区分对抗性负面回应方面的优越性。

Apr, 2024

基于语义的神经机器翻译：使用 AMR

研究表明，通过在神经机器翻译中使用抽象意义表示（AMR）作为额外知识，可以显著改善一种强的基于注意力的序列到序列神经翻译模型在标准英德数据集上的翻译表现。

Feb, 2019

AMRFact: 使用 AMR 驱动的训练数据生成方法增强摘要事实性评估

通过将正确摘要解析为 AMR 图并注入有控制的事实不一致性来生成负样本，AMRFact 提出了一种新的框架，使得能够以高错误类型覆盖率生成连贯的事实不一致摘要，从而在抽象化摘要中评估事实性方面表现出明显的优势。

Nov, 2023

量化对话连贯性评价

提出了一种新方法 QuantiDCE 来训练可量化的对话连贯性评估度量，该方法通过多级排名（MLR）预训练和知识蒸馏（KD）微调两个阶段训练模型并使用少量人工注释数据来进一步微调模型，实验结果表明，该模型与人类判断之间的相关性比其他最先进的度量标准更强。

Jun, 2021

神经 AMR: 序列到序列模型用于解析和生成

使用数百万个未标记的句子和对 AMR 图的精心预处理，我们提出了一种新颖的训练过程，成功地解决了 AMR 中有限的标记数据和非顺序的图表征对序列到序列模型的限制。我们在 AMR 解析和生成任务上取得了竞争性结果，并得到了丰富的分析和证据表明序列基 AMR 模型对图表征的排序变化具有鲁棒性。

Apr, 2017

面向可分解度量的 AMR 文本生成可解释性评估

该论文旨在解决采用自动表面匹配度量评估 AMR 生成自然语言文本系统时存在的问题，并提出了一种基于两个原则的可分解度量方法，其中一个原则度量 AMR 文本的生成和还原之间的距离，另一个原则则度量生成文本的语言质量。

Aug, 2020

基于语义相似度评分的面向意义的自然语言生成测度评估动态、解释性清单

本研究旨在支持对生成文本的质量评估，并针对属性更相关性的 NLG 评估指标进行比较评估，提出了一种 AMR-based CheckList 方法，用于意义相关的语言现象，设计了 GraCo 评估指标，使用 AMR 计算词汇凝聚图，表明其作为一种有趣的 NLG 评估指标值得未来的研究探讨。

May, 2022

利用抽象意义表示改进医疗对话生成

通过使用抽象意义表示（AMR）图构建对话中的语言要素和医学实体的图形表示，我们提出了一种模型病人和医疗专业人员之间对话的新框架，其中神经网络结合了文本和图形知识，采用双重注意机制，在医学对话生成方面的实验结果表明，我们的框架优于强基线模型，证明了 AMR 图在增强医学知识和逻辑关系的表示方面的有效性

Sep, 2023