BriefGPT.xyz
大模型
Ask
alpha
关键词
text degeneration
搜索结果 - 4
EMNLP
多层自适应对比学习在对话生成中的知识内化
通过使用外部知识补充上下文，知识感知对话生成旨在减轻文本退化问题，然而，模型经常无法以人类方式将这些信息内化为响应，而仅简单地将所提供的知识片段插入到通用响应中，导致生成的响应往往乏味、不连贯且缺乏互动性，这意味着退化问题仍未解决。在这项工
→
PDF
9 months ago
一种简单的对比学习目标，以缓解神经文本退化
我们提出了对比记号学习目标，它继承了交叉熵和不可能性训练的优点，同时避免了它们的局限性，通过在语言建模和开放域对话生成任务中的全面实验，我们发现所提出的对比记号目标可以使生成的文本重复性减少，提高了生成质量，达到了文本退化的最新性能水平。
PDF
2 years ago
ACL
文辞规范，功夫到一半：多样有条件生成的构成取样
Composition Sampling 提出了用于条件生成的简单而有效的方法，该方法基于最近提出的基于计划的神经生成模型，并通过先采样实体链的组合形式，避免了文本退化，最终在此基础上生成最优的文本，实验证明，该方法是目前生成多样有意义输出
→
PDF
2 years ago
EMNLP
将神经文本退化与曝光偏差相关联
本文研究神经语言生成领域的两个问题：曝光偏差和文本退化，定量和定性分析了退化发生前的误差并探讨了它们对 GPT-2 文本退化的影响，结果表明这种文本退化有一部分原因是曝光偏差导致的，同时阐述了误差增强的自我强化机制。
PDF
3 years ago
Prev
Next