大型语言模型的假设生成
本研究探讨基于科学摘要文本的当前大型语言模型(LLMs)是否能辨别支持或反驳特定假设的证据,介绍了一个社会科学研究假设证据任务的新数据集,并与几个最先进的基准模型进行了比较,指出了未来研究在这一领域的机遇。
Sep, 2023
通过实验测试,我们发现大型语言模型是一种令人兴奋的新型科学假设来源,并成功应用于乳腺癌治疗领域来生成新的、与非肿瘤性乳腺细胞系 MCF10A 相比针对 MCF7 乳腺癌细胞系的 FDA 批准的非癌症药物组合,并发现多个具有积极协同效应的药物组合。
May, 2024
结合因果知识图谱和大型语言模型,我们研究在心理学中引入了一种开创性的计算假设生成方法。我们利用大型语言模型分析了 43312 篇心理学文章,提取了因果关系对。通过应用链接预测算法,我们生成了 130 个关注 “幸福” 的心理学假设,并与由博士学者构思的研究想法以及仅由大型语言模型生成的假设进行了比较。有趣的是,我们结合使用大型语言模型和因果图的方法在新颖性方面明显超过了仅使用大型语言模型生成的假设(t (59) = 3.34, p=0.007,和 t (59) = 4.32, p<0.001,分别)。通过深度语义分析,这种一致性得到了进一步的证实。我们的结果表明,结合大型语言模型和机器学习技术,如因果知识图谱,可以在心理学中实现自动化的发现,从广泛的文献中提取新颖的见解。这项工作处于心理学和人工智能的交叉点上,为心理学研究中基于数据的假设生成跨出了新的丰富范式。
Feb, 2024
使用大型语言模型(LLM)进行推理任务时,我们介绍了一种名为 Hypotheses-to-Theories(HtT)的框架,该框架学习了一个用于与 LLM 进行推理的规则库。通过实验,我们证明 HtT 能够显著提高现有的提示方法的准确性,并且所学习的规则也可迁移到不同的模型和相同问题的不同形式中。
Oct, 2023
本文提出了一种统一的数据创建流程,只需一个格式示例,适用于包括传统上问题较多的任务在内的广泛范围,通过实验证明使用指令跟随型大型语言模型创建的数据比使用人工标注的数据在分布外评估上表现更好(高达 17.5%),同时在分布内任务上保持可比较的性能,这些结果对于在现实世界中部署的自然语言处理系统的稳健性具有重要意义。
Oct, 2023
通过产生多个抽象假设并将其转化为具体的 Python 程序,进而为大型语言模型提高归纳推理能力,并利用自动生成的摘要或人工筛选的候选集来过滤生成的程序,从而在归纳推理任务中实现更高的准确性。
Sep, 2023
通过提示工程,大型语言模型(LLMs)展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而,在自然语言理解和问题回答方面,提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。
Dec, 2023
通过大规模语言模型(LLMs)来预测神经科学实验结果,发现 LLMs 在预测实验结果方面超过了专家,并且经过优化的神经科学文献模型 BrainGPT 表现更好,这预示着人类与 LLMs 共同合作进行科学发现的未来。
Mar, 2024