Sep, 2024

基于图模型的会话测试自动口语评估研究

HTML
PDF
TL;DR本研究针对会话测试中自动口语评估（ASAC）缺乏对发言连贯性研究的现状，提出了一种分层图模型，综合考虑交互反应和语义信息，从而提升评估模型的准确性。实验结果表明，该模型在众多评估指标上明显优于现有基线，突显了在口语评估中研究连贯性的重要性。
发现论文，激发创造
  • 衡量对话的语义连贯性

    介绍一个新任务：测量基于背景知识的语义相(不)一致性，在Ubuntu Dialog Corpus上使用知识图谱、矢量空间嵌入和单词嵌入模型提出和评估基于图形和机器学习的方法来测量语义的一致性，并展示了这些方法能够发现对话中的不同一致性模式。

    Jun, 2018

  • 通过建模、过滤和优化来提高对话的连贯性和多样性

    本文介绍了三种增强现有编码器-解码器模型的方法，以有效地模拟连贯性并促进输出多样性，它们在OpenSubtitles语料库上的实验表明，与竞争神经模型相比，在BLEU分数以及连贯性和多样性度量方面均有极大改善。

    Sep, 2018

  • 没有明确对话行为标签的对话连贯性评估

    本文提出了一种利用对话行为预测进行多任务学习的新方法，用于对话连贯性评估，并消除了对显式对话行为标签的需求，有效解决了以往研究领域中语义限制有限以及性能强烈依赖于输入对话行为标签等问题。

    Aug, 2019

  • GRADE：用于评估开放域对话系统的自动图形增强相关性度量

    本论文提出了一种新的评估指标GRADE，通过考虑话题转移的动态和话题层面的图形表示，结合粗粒度的话语层面的上下文表示来评估对话的连贯性，从而较好地衡量了各种对话模型的性能并提高了人机相关度。

    Oct, 2020

  • 量化对话连贯性评价

    提出了一种新方法QuantiDCE来训练可量化的对话连贯性评估度量，该方法通过多级排名（MLR）预训练和知识蒸馏（KD）微调两个阶段训练模型并使用少量人工注释数据来进一步微调模型，实验结果表明，该模型与人类判断之间的相关性比其他最先进的度量标准更强。

    Jun, 2021

  • 使用基于AMR的语义操作进行对话连贯性评估

    提出使用抽象含义表示(AMR)进行语义级别操纵的对话连贯性评价标准(DEAM)，在多个对话数据集上，DEAM与人类判断的相关性高于基准方法，且能够区分基准操纵生成的连贯和不连贯的对话，DEAM具有语义级别的操纵和自然的负样本生成潜力。

    Mar, 2022

  • 自动一致性评估的新型计算和建模基础

    该论文提出了一种正式和计算的口头表达的一致性的设置和评估方法，该方法通过联合训练多种任务的模型，在评估一致性的各个任务上表现出更好的性能，为大规模自动评估一致性提供了坚实的基础。

    Oct, 2023

  • 互动至关重要：评估英语二语对话中的交互对话评估框架

    我们提出了一个用于评估英语作为第二语言（ESL）说话者交互对话的评估框架。我们的框架收集对话级别的交互标签（例如主题管理；总共4个标签）和微级别的跨度特征（例如反馈；总共17个特征）。通过构建各种基于机器学习的模型，我们研究了微级别特征如何影响ESL对话的（更高级别的）交互质量。我们的结果表明，某些微级别特征与交互质量强相关，例如参考词（例如she、her、he），揭示了更高级别对话质量和更低级别语言信号之间的新见解。我们的框架还提供了一种评估ESL交流的方法，这对语言评估很有用。

    Jul, 2024

  • ECoh: 多语言对话的逐轮连贯性评估

    本文介绍了GenResCoh生成的响应目标一致性的轻量级、开源和多语言对话评估器，与GPT-4相比，ECoh在多语言检测能力上表现更优，同时提供的解释与教师模型生成的解释在质量上基本一致。

    Jul, 2024

  • 自动语音识别基准测试：对更具代表性的对话数据集的需求

    本研究解决了现有自动语音识别（ASR）基准未能反映现实对话环境复杂性的问题，提出了一个来自TalkBank的多语言对话数据集。研究发现，主流ASR模型在此对话环境下性能显著下降，并揭示了语音不流畅性与词错误率之间的相关性，突显了建立更真实对话基准的必要性。

    Sep, 2024