Sep, 2024
大型语言模型能否生成新颖的研究创意?一项涵盖100多名自然语言处理研究者的大规模人类研究
Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with
100+ NLP Researchers
TL;DR本研究解决了大型语言模型(LLMs)在生成新颖、高水平研究创意方面的能力不足的问题。通过对100多名自然语言处理研究者进行实验设计,我们首次对LLM和人类创意进行了头对头的比较,发现LLM生成的创意在新颖性上被评判为优于人类专家的创意。研究还揭示了构建和评估研究代理面临的开放问题,并提出进一步研究的必要性。