Jun, 2024

使用动态准则改进自回归训练

TL;DR为解决 NLP 任务中的暴露偏差和指标不匹配问题,本文提出了一种基于动态预示算法的解决方案,并开发了新型的动态预示算法,证明其在类似基于跨度的 F1 指标上保持了 DAgger 的无遗憾保证。作者评估了该算法在命名实体识别、文本摘要和机器翻译等任务中的性能,在机器翻译实验中,DAgger with dynamic oracle 的结果不如基准技术,但在命名实体识别和文本摘要方面表现优秀。