teacher forcing | BriefGPT - AI 论文速递

关键词teacher forcing

搜索结果 - 9

独特的图像字幕化：借助 CLIP 引导强化学习的基准真实字幕
用训练图像字幕模型的教师强迫方法生成的样本非常通用，而更具有独特性的字幕对于检索应用或生成描述图像的替代文本以提高可访问性非常有用。这篇论文提出了一种新的图像字幕模型训练策略，其中利用了不同方式的真实字幕，从而在保持高写作质量的同时生成高度
PDF5 months ago
ICML离线强化学习在对话回复生成中的有效性
研究通过离线强化学习方法在对话响应生成中最大化序列级目标，对多个数据集、模型和度量进行全面评估，离线强化学习相比于教师强制训练能够明显提高性能却不会导致训练不稳定或牺牲实际训练预算。
PDFa year ago
ACL探索面向代码生成模型的持续学习
本文介绍了一种名为 CodeTask-CL 的新颖基准测试，针对静态代码生成等多样的编码任务，比较了 NLP 和 Vision 领域中的几种不同的 Continual Learning 技术，提出了一种名为 Prompt Pooling w
PDFa year ago
基于编辑距离的强化学习在 RNNT 解码中的应用
提出一种基于编辑距离计算奖励的增强学习方法，使 RNN-T 模型在推理时更接近训练时的效果。在 LibriSpeech 上表现出了 SoTA WERs。
PDFa year ago
机器翻译的并行注意力强制
该研究引入了 attention forcing 的两种扩展来解决离散输出的任务中的挑战，包括 scheduled attention forcing 来自动开启和关闭 attention forcing，以及 parallel atten
PDF2 years ago
翻转课堂：时间序列预测的有效教学
该研究提出了几种新的课程学习策略，包括随着训练规模增加和迭代规模概率课程，以提高序列到序列模型对混沌时间序列数据的预测准确性。通过在六个混沌时间序列数据集上的实验证明，这些新策略在 NRMSE 方面的性能表现要优于现有的教师强制和自由运行策
PDF2 years ago
使用 Teacher Forcing 恢复文本生成的奖励函数
我们提出了一种基于 teacher forcing 的无特定任务强化学习奖励函数生成方法，其稳定性高并优于自训练和奖励回归方法，可用于缓解曝光偏差或利用非平行数据集的文本生成任务。
PDF2 years ago
ACL指导式教师强制与先知强制在神经机器翻译中的应用
通过将 seer 解码器引入到编码器 - 解码器框架中进行训练，同时通过知识蒸馏强制传授知识，以解决现有的神经机器翻译模型在进行预测时往往只考虑过去信息，缺乏对未来信息的全局规划，实现在考虑未来信息的情况下，模型的翻译效果有了显著提升。
PDF3 years ago
ACL潜在对齐是否能提高自回归机器翻译？
探讨使用潜在对齐目标训练自回归机器翻译模型时遇到的困难及其理论解释。
PDF3 years ago