EMNLPSep, 2020

F^2-Softmax: 通过频率因式分解 Softmax 实现神经文本生成的多样性

PDF
TL;DR提出了两种新方法 F^2-Softmax 和 MefMax 以解决文本生成中标记分布不平衡的问题，实验表明这两种方法在提高生成文本的多样性和质量方面具有优越性。
neural text generationtoken distributionf^2-softmaxmefmaxperformance
发现论文，激发创造
  • 神经对话生成的另一个多样性促进目标函数

    本文提出了一种名为 ITF 的新目标函数，旨在解决 MLE 在生成回复方面多样性不足的问题，该函数可以有利于生成罕见单词，而不是最常见的回复中的单词，取得了不错的实验结果。

    Nov, 2018

  • 连续输出序列到序列模型的 von Mises-Fisher 损失训练

    本研究提出了一种用连续嵌入层替代 Softmax 层的技术，使得生成的语言模型具有较大的词汇表并且具有比传统模型更高效的训练速度，在神经机器翻译任务上的表现也保持在业界领先水平。

    Dec, 2018

  • 利用词性导向的 Softmax 和采样技术实现神经文本生成的多样性

    本研究提出了一种基于语言标注（part-of-speech）的神经文本生成模型，使用 POS Guided Softmax 和 Sampling 方法显著提高了文本多样性。

    May, 2021

  • 神经机器翻译的 Token 级自适应训练

    本文研究了神经机器翻译中的令牌不平衡现象，并提出采用基于目标令牌频率的目标令牌级自适应目标来训练模型，以提高翻译质量和提高翻译词汇的多样性。结果表明，与基线相比，在包含更多低频词汇的句子中，分别可以获得 1.68，1.02 和 0.52 的 BLEU 增益。

    Oct, 2020

  • 使用频率感知交叉熵损失改善神经应答多样性

    本文针对 Seq2Seq 模型中存在的响应生成多样性不足的问题，探究了预测分布中过度自信的连接，提出了一种基于词频加权的损失函数 —— 面向词频的交叉熵损失（FACE）函数，实验证明，该函数能够显著提高现有 Seq2Seq 响应生成方法的多样性。

    Feb, 2019

  • 带有随机傅里叶特征的采样 Softmax

    本文针对多分类中神经网络训练成本高的问题，提出了一种基于 Random Fourier Features 的随机傅里叶 softmax（RF-softmax）方法，以更高效和准确地在近似的 softmax 分布中采样来降低偏差，并表明其成本仅以对数方式缩放。

    Jul, 2019

  • 稀疏文本生成

    本文提出使用 entmax 转换来训练和采样自然稀疏的语言模型，从而避免训练和测试之间的差异，以达到更好的性能和更接近人类文本的 n-gram 多样性，同时提出了三个度量标准来比较稀疏或截断的分布，并通过故事和对话生成等应用展示了该方法的有效性。

    Apr, 2020

  • 神经反可能性训练的多元关键词生成

    本文从多样性的角度研究了序列到序列关键词生成模型，并针对使用 MLE 训练生成的输出存在的重复关键字的问题，提出了训练过程中的 UL 目标函数和 K 步预测目标函数，这两种方法有效地提升了生成关键字的多样性和输出质量。

    Oct, 2020

  • 强制语言模型排除扩散分布

    今天的语言模型在随机输出方面表现不佳，本文提出了一种微调方法，鼓励语言模型产生分散的输出分布，使大型语言模型在合成数据集生成方面变得更实用。

    Apr, 2024

  • 利用大语言模型和人工干预进行文本数据生成以增加多样性并维持准确性

    本文研究人工智能与人类合作生成高质量的大语言模型数据，使用两种方法促进文本生成的多样性和准确性，探究人类干预的效果并发现标签替换有助于提高模型的准确性，但移除超出用户领域兴趣或没有适当标签的实例不能提高模型准确性，需要更多人机协作探索。

    Jun, 2023