exposure bias problem | BriefGPT

关键词exposure bias problem

搜索结果 - 5

文本生成的动量校准
本文提出 MoCa (动量校准) 方法解决文本生成任务中的曝光偏差问题，通过动量滑动平均产生缓慢演化的样本生成器，与实际样本质量对齐，实验表明在 CNN/DailyMail 和 SAMSum 数据集上实现了最优结果。
PDF2 years ago
UBARv2：针对任务导向对话的减轻暴露偏差
本研究提出一种解决任务型对话系统中曝光偏差问题的方法，通过采用会话级别的采样和基于 dropout 的一致性正则化来提高模型的鲁棒性和性能，并在 MultiWOZ 基准测试上取得了最先进的性能。
PDF2 years ago
通过对比学习缓解摘要文本生成中的曝光偏差
提出使用对比学习来减少低质量文摘的可能性，同时增加黄金文摘的可能性，以解决 Encoder-decoder 模型在训练和推理中的偏差问题，并在实验中证明这种方法有效地提高了最先进模型在不同数据集上的性能。
PDF3 years ago
ICLR利用对抗扰动的对比学习实现条件文本生成
该论文通过对比正负样本来缓解序列到序列模型中的条件文本生成问题，通过生成正负样本来引导模型更好地区分正确的输出和错误的输出，并提出了一种原则性的方法来生成正负样本，改进了机器翻译、文本摘要和问题生成等三个文本生成任务的泛化能力。
PDF4 years ago
基于 Tacotron 的 TTS 的师生训练以实现鲁棒性
本文提出了一种基于教师 - 学生训练方案的 Tacotron 文本转语音系统解决自回归模型中的曝光偏差问题，并使用知识蒸馏使学生模型学习教师模型的输出概率，取得了在中英文系统中对于域外测试数据语音质量的稳定提升。
PDF5 years ago