ACLMay, 2023

DEnsity：利用密度估计的开放领域对话评估指标

PDF
TL;DR本文提出了一种名为 DEnsity 的评估指标，该指标通过利用神经分类器导出的特征空间上的密度估计来评估响应，从而使得其相关性比现有指标更好，并通过对特征空间的压缩利用对比学习来进一步提高性能。
发现论文，激发创造
  • 对话生成语义多样性的测量和改进

    本文提出了一种新的自动化评估指标，用于衡量生成响应的语义多样性，以及一种基于语义分布权重的学习方法，用于提高生成响应的语义多样性和连贯性。

    Oct, 2022

  • PairEval：使用配对比较进行开放域对话评价

    提出了一种基于对话响应之间的比较评估的对话评估度量方法 PairEval，该度量方法比基准度量方法更具鲁棒性，并且与人类判断的相关性更高。

    Apr, 2024

  • 密度自适应的深度度量学习

    本论文提出将数据的密度测量集成到 DML 的优化框架中，以在端到端的训练过程中自适应平衡类间相似性和类内变异性，通过在三种嵌入方式上增加密度适应性，不断地在三个公共数据集上展示清晰的改善。

    Sep, 2019

  • FineD-Eval: 细颗粒自动对话级别评估

    本文介绍了一种基于多维度的对话级度量方法，由三个子度量组成，对每个子度量使用新颖的自监督方法进行训练，通过指标组合和多任务学习的方式，综合度量显著优于单一子度量。

    Oct, 2022

  • 利用蕴涵关系评估对话系统中的一致性

    本文提出了基于分布式句子表示的可解释计算指标，用于评估开放领域对话系统的主题、话题的连贯性，减少了人工判断实验的时间成本和不可伸缩性，并结合先进的蕴含技术，介绍了可计算的人工判断形式，实现了对大规模数据集上对话质量的无偏估计。

    Apr, 2019

  • 对话响应选择中的密集检索探索

    该研究提出了一种利用密集检索模型从包含数百万个响应的大型语料库或甚至仅由未配对句子组成的非平行语料库中直接选择适当响应的解决方案，并通过一系列专门设计的学习策略实现其在全范围评估设置下的优越性。

    Oct, 2021

  • 学习密度感知嵌入

    本文提出了一种新颖的抗噪声深度度量学习算法，称为密度感知度量学习，其通过将模型迭代地向集群的最密集区域移动来实现更快速的收敛和更高的泛化性，并对两个具有挑战性的跨模态人脸识别数据库和两个流行的物体识别数据库进行了详细的实验和分析，表明该方法具有卓越的收敛性、较短的训练时间以及比其他流行的深度度量学习方法更好的精度。

    Apr, 2019

  • 对开放领域对话系统进行可配置评估指标的解构与重构

    我们提出了一种灵活的度量方法，并通过组合可管理的质量、将质量分成三组，并将每个方面的指标合成为一个指标，得到了名为 USL-H 的度量方法，证明了 USL-H score 与人工评价具有良好的相关性和可配置性。

    Nov, 2020

  • PONE：一种新型开放域生成对话系统自动评估度量

    通过对三类自动评估方法的系统比较，本文认为基于学习的指标是评估开放领域生成对话系统最有效的方法。为了解决由于负采样机制导致的数据集不平衡和低质问题，本文提出了一种新的基于学习的评估指标 PONE，并经过实验证明，在使用增强的正样本和有价值的负样本后，可以显著提高与人类判断的相关性，平均相关性提高达 13.18％。

    Apr, 2020

  • DSTC 11 跟踪器 4：开放域对话系统鲁棒性和多语言自动评估指标综述

    本文提出神经网络和自动评估方法在对话系统中的应用，特别关注 DSTC11 的自动评估度量标准和结果。

    Jun, 2023