AAAINov, 2018

神经对话生成的另一个多样性促进目标函数

PDF
TL;DR本文提出了一种名为 ITF 的新目标函数，旨在解决 MLE 在生成回复方面多样性不足的问题，该函数可以有利于生成罕见单词，而不是最常见的回复中的单词，取得了不错的实验结果。
generation-based dialogue systemsmaximum likelihood estimationinverse token frequency lossopensubtitles datasetjapanese twitter replies dataset
发现论文，激发创造
  • 神经对话模型多样性促进目标函数

    本研究论文通过在神经网络里更改目标函数为 MMI 以替代传统的目标函数来解决对话响应生成任务中的普通、平凡的输出，实验证明这种方法产生了更多样、有趣和恰当的响应，在两个对话数据集上的 BLEU 评分和人类评估中获得了实质性的提升。

    Oct, 2015

  • 使用频率感知交叉熵损失改善神经应答多样性

    本文针对 Seq2Seq 模型中存在的响应生成多样性不足的问题，探究了预测分布中过度自信的连接，提出了一种基于词频加权的损失函数 —— 面向词频的交叉熵损失（FACE）函数，实验证明，该函数能够显著提高现有 Seq2Seq 响应生成方法的多样性。

    Feb, 2019

  • F^2-Softmax: 通过频率因式分解 Softmax 实现神经文本生成的多样性

    提出了两种新方法 F^2-Softmax 和 MefMax 以解决文本生成中标记分布不平衡的问题，实验表明这两种方法在提高生成文本的多样性和质量方面具有优越性。

    Sep, 2020

  • 一种简单的对比学习目标，以缓解神经文本退化

    我们提出了对比记号学习目标，它继承了交叉熵和不可能性训练的优点，同时避免了它们的局限性，通过在语言建模和开放域对话生成任务中的全面实验，我们发现所提出的对比记号目标可以使生成的文本重复性减少，提高了生成质量，达到了文本退化的最新性能水平。

    May, 2022

  • 信息熵损失对生成式语言模型学习困难的缓解

    通过引入信息熵损失函数来解决文本语料中常见和难以学习的标记的不平衡性，改进了生成式语言模型在下游任务中的性能表现。

    Oct, 2023

  • 面向上下文语义融合的对话生成中的损失函数和评估指标

    通过调查对话生成中的受限因素并提出语义注入上下文对话（SemTextualLogue）损失函数，本研究引入了新的目标函数和评估指标。在两个对话语料库上的实验表明，使用 SemTextualLogue 损失训练的对话生成模型在定量和定性评估上表现出更好的性能，相较于传统的交叉熵损失函数以及其他评估指标。

    Sep, 2023

  • 数据失衡的 NLP 任务的 Dice Loss

    本研究提出了一种新的 dice loss 网络训练目标替代 cross-entropy 目标，以解决 NLP 任务中数据失衡的问题，并且在多项任务中均取得了显著的性能提升。

    Nov, 2019

  • 神经反可能性训练的多元关键词生成

    本文从多样性的角度研究了序列到序列关键词生成模型，并针对使用 MLE 训练生成的输出存在的重复关键字的问题，提出了训练过程中的 UL 目标函数和 K 步预测目标函数，这两种方法有效地提升了生成关键字的多样性和输出质量。

    Oct, 2020

  • 互信息和多样性解码改进神经机器翻译

    本文介绍了一种基于相互信息最大化的神经机器翻译模型，该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法，应用于 WMT 德英和法英任务中，该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。

    Jan, 2016

  • 神经机器翻译的 Token 级自适应训练

    本文研究了神经机器翻译中的令牌不平衡现象，并提出采用基于目标令牌频率的目标令牌级自适应目标来训练模型，以提高翻译质量和提高翻译词汇的多样性。结果表明，与基线相比，在包含更多低频词汇的句子中，分别可以获得 1.68，1.02 和 0.52 的 BLEU 增益。

    Oct, 2020