Jul, 2020
语义解析中的组合泛化:预训练与专用体系结构
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Daniel Furrer, Marc van Zee, Nathan Scales, Nathanael Schärli
TL;DR在语义分析任务中,掩码语言模型(MLM)预训练可以有效提高效果,相较于其他促进组合泛化的方法和架构,具有更好的性能,并在 CFQ 组合泛化基准测试中建立了新的最新记录。