Jun, 2024
使用动态准则改进自回归训练
Improving Autoregressive Training with Dynamic Oracles
Jianing Yang, Harshine Visvanathan, Yilin Wang, Xinyi Hu, Matthew Gormley
TL;DR为解决 NLP 任务中的暴露偏差和指标不匹配问题,本文提出了一种基于动态预示算法的解决方案,并开发了新型的动态预示算法,证明其在类似基于跨度的 F1 指标上保持了 DAgger 的无遗憾保证。作者评估了该算法在命名实体识别、文本摘要和机器翻译等任务中的性能,在机器翻译实验中,DAgger with dynamic oracle 的结果不如基准技术,但在命名实体识别和文本摘要方面表现优秀。