Mar, 2024

ParallelPARC:生成自然语言类比的可扩展管道

TL;DR通过设计数据生成流水线,利用最先进的大型语言模型创建复杂的基于段落的类比,我们创建了 ProPara-Logy 数据集,用于科学过程之间的类比;在二进制和多选题设置中,我们测试了 LLMs 和人类的类比识别,发现在轻量级监督之后人类的性能优于最佳模型(13%差异),同时证明我们的银标准集对于训练模型很有用;最后,我们展示了具有挑战性的干扰物混淆 LLMs 但不混淆人类,希望我们的流水线能够鼓励该新兴领域的研究。