ACLOct, 2015

神经对话模型多样性促进目标函数

PDF
TL;DR本研究论文通过在神经网络里更改目标函数为 MMI 以替代传统的目标函数来解决对话响应生成任务中的普通、平凡的输出，实验证明这种方法产生了更多样、有趣和恰当的响应，在两个对话数据集上的 BLEU 评分和人类评估中获得了实质性的提升。
sequence-to-sequence neural network modelsconversational response generationmaximum mutual information (mmi)bleu scoreshuman evaluations
发现论文，激发创造
  • 神经对话生成的另一个多样性促进目标函数

    本文提出了一种名为 ITF 的新目标函数，旨在解决 MLE 在生成回复方面多样性不足的问题，该函数可以有利于生成罕见单词，而不是最常见的回复中的单词，取得了不错的实验结果。

    Nov, 2018

  • 互信息和多样性解码改进神经机器翻译

    本文介绍了一种基于相互信息最大化的神经机器翻译模型，该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法，应用于 WMT 德英和法英任务中，该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。

    Jan, 2016

  • 通过对抗信息最大化生成富有信息量和多样化的对话回应

    采用对抗信息最大化方法优化神经会话模型，通过对抗训练和变分下限优化可提高模型回复的信息量和多样性。

    Sep, 2018

  • 利用语篇互信息最大化的对话数据表示学习

    为了实现有效的会话建模，本文提出了基于结构的相互信息损失函数 DMI 来训练对话表示模型，并在九个不同对话建模任务上展开了广泛评估，结果表明我们提出的 DMI-based 模型表现超过了强基线。

    Dec, 2021

  • 深度学习的学习函数与语义信息度量的演变综述

    本文概述了深度学习的新趋势，即利用相似性函数和信息估计函数作为学习和目标函数的相互信息神经估计和信息噪声对比估计，介绍了作者提出的语义信息 G 理论及应用在多标签学习、最大互信息分类和混合模型等方面，探讨了从 G 函数或 G 理论的角度理解语义互信息与 Shanon 互信息、混合模型、Gibbs 分布和分区函数等的关系，并提出了利用高斯信道混合模型来预训练深度神经网络潜在层的潜在机会和使用语义互信息作为增强学习的奖励函数。

    May, 2023

  • 语言表示学习的互信息最大化视角

    本文介绍了词表示学习的最新方法，通过互信息最大化来统一传统的词嵌入模型和现代上下文嵌入模型。此外，我们提出了一种构建新的自监督任务的框架，并提供了一种简单的自监督目标函数来最大化句子全局表示和 n-gram 之间的互信息。这种方法可以在自然语言处理、计算机视觉和音频处理等多个领域传递知识和推进进展。

    Oct, 2019

  • 一种具有改进特异性的注意力神经对话模型

    本文提出了一个神经对话模型，用于生成帮助台响应，其通过回归网络对话意图进行建模，并结合一个基于意图表示的注意力模型。 此外，它还采用了 IDF 术语来避免生成非特定响应。 实验表明，该模型在纯生成模型和检索模型下表现均好。

    Jun, 2016

  • 广义互信息：一种用于判别聚类的框架

    本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果，并将核心距离更改为常见的挑战导致的原因。因此，我们通过引入广义相互信息 (GEMINI) 来推广相互信息，它是一组用于无监督神经网络训练的指标。与相互信息不同，一些 GEMINI 在训练时不需要正则化，因为它们在数据空间中具有几何意识的距离或核函数。最后，我们强调 GEMINI 可以自动选择相关的聚类数目，这是在深度判别聚类上很少研究的一个特性，因为聚类数目是先验未知的。

    Sep, 2023

  • 相互信息散度：多模态生成模型的统一度量

    采用 CLIP 特征的负高斯交叉互信息度量被提出，用于评估 text-to-image generation 和 image captioning 任务的机器智能水平，与竞争指标相比具有一致性、样本简约性和鲁棒性，并在多模态表示学习中得到了广泛的应用。

    May, 2022

  • 判别聚类的广义互信息

    本文提出了一种新的无监督神经网络训练度量标准 —— 广义互信息 (GEMINI)，相比于互信息，它不需要正则化且可自动选择群聚数目，并且是数据空间的几何感知度量，从而提供更好的聚类效果。

    Oct, 2022