Sep, 2024
任务复杂性:用于任务复杂性分类的数据集及其在In-Context Learning、FLAN-T5和GPT-4o基准测试中的应用
TaskComplexity: A Dataset for Task Complexity Classification with
In-Context Learning, FLAN-T5 and GPT-4o Benchmarks
TL;DR本研究解决了将编程任务分类和分配给专家的挑战,该过程通常需要大量的时间和成本。通过网络爬虫技术创建了一个新的包含4,112个编程任务的数据集,系统性地提取了任务的关键要素。结果显示,基于上下文学习的GPT-4o-mini在性能上优于FLAN-T5模型,展示了该数据集在任务分配中的潜力。