Oct, 2022

SimSCOOD: 源代码模型的超出分布行为的系统分析

TL;DR由于代码的组合性和软件的复杂性,获取具有完整代码分布覆盖的代表性训练数据仍然具有挑战性。因此,我们提出了第一种系统性方法,模拟不同维度数据属性的各种 OOD 场景,并研究在这些场景下模型的行为。我们对三项代码生成任务中的六种最先进的模型进行了广泛的研究,发现了一些由 OOD 问题引起的失败模式。此研究具有启示作用,为未来关于源代码模型的泛化、鲁棒性和归纳偏差等的研究提供了新的视角。