结构化信息的重要性：将抽象意义表示引入到 LLMs 中以提高开放域对话评估

Apr, 2024

结构化信息的重要性：将抽象意义表示引入到 LLMs 中以提高开放域对话评估

Structured Information Matters: Incorporating Abstract Meaning Representation into LLMs for Improved Open-Domain Dialogue Evaluation

PDF

Bohao Yang, Kun Zhao, Chen Tang, Liang Zhan, Chenghua Lin

TL;DR我们提出了一个简单而有效的开放域对话评估框架，通过将领域特定语言模型（SLMs）与 LLMs 结合起来，明确地通过门控机制将对话的抽象意义表示（AMR）图信息融入到 LLM 的提示中，以提高上下文学习性能，并在开放域对话评估任务中的实验结果证明了我们方法在区分对抗性负面回应方面的优越性。

Abstract

automatic open-domain dialogue evaluation has attracted increasing attention. trainable evaluation metrics are commonly trained with true positive and randomly selected negative responses, resulting in a tendency

automatic open-domain dialogue evaluation trainable evaluation metrics adversarial negative responses large language models (llms)abstract meaning representation (amr) graph

发现论文，激发创造

SLIDE: 一个融合小型和大型语言模型的开放领域对话评估框架

使用 Small and Large Integrated for Dialogue Evaluation（SLIDE）框架，结合小型专门模型（SLM）和大型语言模型（LLMs）来解决开放领域对话系统中的一对多问题和领域特定场景下的性能不佳问题。该方法通过对比学习、语义敏感度度量和结合 SLM 和 LLMs 的评估结果等技术，实现了分类和评估任务的最新性能，并且 SLIDE 评估器与人工判断更好地相关。

May, 2024

对话建模的语义表示

我们使用抽象意义表示（AMR）来协助神经对话建模，将 AMR 图形构建到对话系统中会更显著地提高对话理解和响应生成任务的效果。

May, 2021

大型语言模型时代的语义表示分析

在大语言模型 (LLMs) 时代，本文调查了语义表征在 LLMs 时代中的作用，并探讨了 Abstract Meaning Representation (AMR) 对五个不同自然语言处理任务的影响。通过提出了一种名为 AMRCoT 的 AMR 驱动的思维链提示方法，我们发现它通常会使性能下降。通过一系列分析实验，我们发现很难预测 AMR 在哪些输入示例上能帮助或妨碍，但错误通常出现在多词表达式、命名实体以及 LLM 在最终推理步骤中必须将其基于 AMR 的推理与预测相连接的地方。因此，我们建议将来关注这些领域的语义表征工作。

May, 2024

基于语义的对话理解预训练

本研究提出了一种基于语义学的预训练框架，使用抽象含义表示（AMR）来捕捉对话中的核心语义信息，实验证明其在闲聊和任务导向对话的理解上比标准预训练框架更具优势，并且是首次在对话预训练中利用了深层语义表示。

Sep, 2022

检索增强的端到端口语对话模型

我们将先前开发的 SLM 模型应用于语音对话应用中，其中对话状态直接从音频信号中推断，通过检索增强的 SLM（ReSLM）改善了识别领域特定实体的困难，提升了模型性能，特别在对话状态跟踪和具有偏置能力的语音自动识别方面具有广泛适用性。

Feb, 2024

生成对抗性负面回复以提升响应排名与评估的鲁棒性

发展神经对话模型需要超越 “内容相似性”，本文提出用对抗性负面样本提高模型的实用性。实验表明，我们的方法在多个数据集上均表现优异。

Jun, 2021

评估统计语言模型作为实用推理器

本文考察了大型语言模型对语言习得中的概率关系和上下文敏感性建模的能力，并针对基于强度先验条件的语境下的 pragmatism utterances 进行了阈值估计实验。结果表明该方法成功地推导出了一些复杂 pragmatic utterances 相关的人类类似信息分布，但对于否定的组成较为困难。

May, 2023

简单的 LLM 提示是稳健多语言对话评估的尖端技术

研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

Aug, 2023

利用抽象意义表示改进医疗对话生成

通过使用抽象意义表示（AMR）图构建对话中的语言要素和医学实体的图形表示，我们提出了一种模型病人和医疗专业人员之间对话的新框架，其中神经网络结合了文本和图形知识，采用双重注意机制，在医学对话生成方面的实验结果表明，我们的框架优于强基线模型，证明了 AMR 图在增强医学知识和逻辑关系的表示方面的有效性

Sep, 2023

对话 LLM：面向情感识别的对话中的上下文和情感知识调整的 LLaMA 模型

使用多模态信息、上下文和情感知识调整的对话型大型语言模型 (DialogueLLM)，通过对 13,638 个多模态（文本和视频）情感对话进行微调，克服了大型语言模型在情感识别方面的局限性，并在三个基准情感对话识别数据集上进行了全面评估。

Oct, 2023