May, 2023

基于点互信息度量和解码策略的文本对话生成中忠实度实现

PDF
TL;DR本文提出了一种基于点互信息的新的响应语义度量指标，并将其应用于深度学习生成模型生成对话的评估和后续的响应生成过程中，可以获得更可信和真实的自动响应。
发现论文，激发创造
  • C-PMI: 条件点间互信息用于对话轮次评估

    提出了一种新的模型无关方法，利用条件点互信息来衡量给定评估维度下系统和用户之间的对话交互，实验结果显示，与现有的评估系统相比，该方法在广泛使用的 FED 对话评估数据集上显著提高了与人类判断的相关性，在 FED 评估指标上平均达到了 60.5％的相关性提高率。

    Jun, 2023

  • 基于点互信息的真实数据集估值

    提出了一种新的数据评估方法，通过使用合适的评分规则和点间互信息测量来保证数据供应商总是通过真实报告观测到的数据来最大化他们的预期得分，该方法在贝叶斯机器学习环境中引入了一种新的点间互信息测量方法，证明了它在鲁棒性和对过拟合敏感性方面的优越性。

    May, 2024

  • 利用点互信息的非监督式抽取式摘要

    通过使用点间互信息（PMI）计算相关性和冗余度量来提高提取性摘要，同时开展贪婪句子选择算法以最大化提取的句子的相关性和最小化冗余度。

    Feb, 2021

  • 使用条件互信息进行更好的人类般信息交流

    本论文旨在构建一种对话代理，能够像人一样自然地将新的事实内容编织到对话中。我们从对话分析的语言学原理中吸取灵感，并对 Switchboard 对话行为语料库中的人类对话进行注释，以检查人类关于承认、转移、细节选择和展示的策略。我们提出的方法，混合 PCMI，通过交换 pmi 和 pcmi_h 来取得更好的性能，被人类评估员 60％的时间内更喜欢。

    Apr, 2021

  • 相互信息散度：多模态生成模型的统一度量

    采用 CLIP 特征的负高斯交叉互信息度量被提出，用于评估 text-to-image generation 和 image captioning 任务的机器智能水平，与竞争指标相比具有一致性、样本简约性和鲁棒性，并在多模态表示学习中得到了广泛的应用。

    May, 2022

  • 利用语篇互信息最大化的对话数据表示学习

    为了实现有效的会话建模，本文提出了基于结构的相互信息损失函数 DMI 来训练对话表示模型，并在九个不同对话建模任务上展开了广泛评估，结果表明我们提出的 DMI-based 模型表现超过了强基线。

    Dec, 2021

  • 通过可控特征提高基于知识的对话的准确性

    研究知识基础对话系统，控制生成神经对话模型，加入不同的评估措施作为样式控制以鼓励模型生成有据可依的响应，并通过人类评估研究判断控制生成模型的产出通常更加客观和有据可依。

    Jul, 2021

  • 略施推力，NLI 模型可鲁棒高效地预测忠实度

    本文提出了一种利用数据增强和鲁棒推理过程将单纯的 NLI 模型用于预测语言模型忠实度的方法，应用于 TRUE 基准来说效果显著且计算代价较小。

    May, 2023

  • 基于 PMI 矩阵逼近的简单语言模型

    该研究介绍了一种新的学习语言模型的方法，通过训练模型估计词 - 上下文点间互信息（PMI），并通过 PMI 在测试时求出所需的条件概率。

    Jul, 2017

  • 通过少量专家示范融合奖励函数，实现忠实准确的知识导向对话生成

    开发值得信赖的对话式信息搜索系统依赖于能够基于相关知识文本生成忠实准确响应的对话模型。我们通过引入一种新的奖励函数利用强化学习算法来克服数据偏见和冗余信息的两个主要挑战，并在两个对话式信息搜索数据集上的实证实验中展示了我们的方法可以与其他强大的监督学习基准相竞争。

    Nov, 2023