ACLJun, 2023

C-PMI: 条件点间互信息用于对话轮次评估

PDF
TL;DR提出了一种新的模型无关方法，利用条件点互信息来衡量给定评估维度下系统和用户之间的对话交互，实验结果显示，与现有的评估系统相比，该方法在广泛使用的 FED 对话评估数据集上显著提高了与人类判断的相关性，在 FED 评估指标上平均达到了 60.5％的相关性提高率。
chatbotsevaluation metricsconditional pointwise mutual informationfed datasetinteraction
发现论文，激发创造
  • 使用条件互信息进行更好的人类般信息交流

    本论文旨在构建一种对话代理，能够像人一样自然地将新的事实内容编织到对话中。我们从对话分析的语言学原理中吸取灵感，并对 Switchboard 对话行为语料库中的人类对话进行注释，以检查人类关于承认、转移、细节选择和展示的策略。我们提出的方法，混合 PCMI，通过交换 pmi 和 pcmi_h 来取得更好的性能，被人类评估员 60％的时间内更喜欢。

    Apr, 2021

  • 基于点互信息度量和解码策略的文本对话生成中忠实度实现

    本文提出了一种基于点互信息的新的响应语义度量指标，并将其应用于深度学习生成模型生成对话的评估和后续的响应生成过程中，可以获得更可信和真实的自动响应。

    May, 2023

  • 基于 PMI 矩阵逼近的简单语言模型

    该研究介绍了一种新的学习语言模型的方法，通过训练模型估计词 - 上下文点间互信息（PMI），并通过 PMI 在测试时求出所需的条件概率。

    Jul, 2017

  • 基于点互信息的真实数据集估值

    提出了一种新的数据评估方法，通过使用合适的评分规则和点间互信息测量来保证数据供应商总是通过真实报告观测到的数据来最大化他们的预期得分，该方法在贝叶斯机器学习环境中引入了一种新的点间互信息测量方法，证明了它在鲁棒性和对过拟合敏感性方面的优越性。

    May, 2024

  • 利用点互信息的非监督式抽取式摘要

    通过使用点间互信息（PMI）计算相关性和冗余度量来提高提取性摘要，同时开展贪婪句子选择算法以最大化提取的句子的相关性和最小化冗余度。

    Feb, 2021

  • ACUTE-EVAL: 优化问题和多轮比较的对话评估改进

    本研究提出一个基于自我对话模型的评价过程，旨在寻找一种在不同注释人员之间具有更强鲁棒性的评级测试方案。经过实验证明，在这种方案下，我们可以在更快、更便宜的情况下推出新的测试标准并发布开源代码。

    Sep, 2019

  • 学习用于在线对话评估的无参考度量

    本文提出了一种基于预训练语言模型从句子中提取潜在表示并利用它们之间的时间关系进行对话质量评估的自动评估度量标准，不需要人工生成参考回复并在推理过程中不需要真实响应。在在线环境中，该模型与人类评注的相关性更高。

    May, 2020

  • 基于条件双语互信息的自适应神经机器翻译训练

    本研究提出一种基于条件双语互信息（CBMI）的目标上下文感知统计度量方法，用于改善神经机器翻译中令人困扰的令牌不平衡问题，有效提高模型性能，实验结果显示，我们的方法明显优于 Transformer 基线和其他相关方法。

    Mar, 2022

  • 通过条件互信息推理广义化问题

    该论文提出了一个信息理论框架来研究机器学习算法的泛化性能，利用条件互信息量化算法输出和训练数据之间的关系，并提出基于 VC 维、压缩方案、差分隐私等方法来获得有界的条件互信息，从而得出泛化的各种形式。

    Jan, 2020

  • 基于分类器的条件互信息估计（CCMI）

    本文提出了基于分类器和生成模型的方法来解决条件互信息估计中高维造成的维度灾难问题，并使用提出的方法来进行条件独立性检验，相比于现有方法取得了优越的表现。

    Jun, 2019