文献与数据结合:假设生成的协同方法
使用迭代性的假设修正技术,通过三步骤的提议、选择和修正来研究语言模型在归纳推理任务中的能力,并发现其在产生假设和筛选规则方面表现出色,但在识别可信规则和应用提议规则方面存在差距,揭示了语言模型在归纳推理任务中的潜力和局限。
Oct, 2023
神经知识到文本生成模型经常难以准确生成输入事实的描述,通过使用一种新的解码方法TWEAK(在有效表达知识的同时思考),TWEAK将每个解码步骤中的生成序列及其未来序列作为假设,并根据这些对应假设如何支持输入事实的准确性对每个生成候选进行排名,通过使用假设验证模型(HVM)。在一个首次提出的数据集FATE(以事实对齐文本蕴含为特征的数据集)上训练,我们取代了NLI模型并使用了任务特定的HVM,以改进准确性和质量。总体上,最佳的TWEAK变体相对于WebNLG和TekGen/GenWiki数据集,通过FactKB测量平均提高了2.22/7.17个准确性得分,同时通过BERTScore测量只有0.14/0.32个质量得分下降。由于TWEAK是一种仅限解码的方法,因此可以与任何神经生成模型集成而无需重新训练。
Nov, 2023
我们提出了一个基于假设的统计框架,使用贝叶斯网络将任务的内部状态与模板翻译成自然语言,然后将这些解释与LLM生成的自由文本解释进行比较,以判断LLM和贝叶斯网络的决策过程的相似性,结果显示贝叶斯网络模型与GPT-3.5并没有很强的相似性,进一步工作可以通过该框架更好地近似LLM的决策。
Feb, 2024
结合因果知识图谱和大型语言模型,我们研究在心理学中引入了一种开创性的计算假设生成方法。我们利用大型语言模型分析了43312篇心理学文章,提取了因果关系对。通过应用链接预测算法,我们生成了130个关注“幸福”的心理学假设,并与由博士学者构思的研究想法以及仅由大型语言模型生成的假设进行了比较。有趣的是,我们结合使用大型语言模型和因果图的方法在新颖性方面明显超过了仅使用大型语言模型生成的假设(t(59) = 3.34, p=0.007,和 t(59) = 4.32, p<0.001,分别)。通过深度语义分析,这种一致性得到了进一步的证实。我们的结果表明,结合大型语言模型和机器学习技术,如因果知识图谱,可以在心理学中实现自动化的发现,从广泛的文献中提取新颖的见解。这项工作处于心理学和人工智能的交叉点上,为心理学研究中基于数据的假设生成跨出了新的丰富范式。
Feb, 2024
生物医学知识、大型语言模型、假设生成、不确定性与生物医学发现是本研究的关键词和主题,在综合评估了大型语言模型作为生物医学假设生成器的能力后,研究发现大型语言模型可以生成新颖且经过验证的假设,而多智体交互和工具使用可以提高零样本假设生成的性能,并针对外部知识的类型和范围提出了需谨慎考虑的观点,为进一步研究提供了有价值的洞见。
Jul, 2024
本研究解决了在线快速准确区分机器生成文本与人类创作文本的需求,填补了现有离线检测方法的空白。提出了一种基于序贯假设检验的算法,该算法不仅增强了现有的离线检测技术,还提供了受控的误报率和确定源为大型语言模型的预期时间等统计保障。实验结果表明,该方法有效性显著,具有较高的实际应用潜力。
Oct, 2024
本文针对大型语言模型在科学假设生成过程中常见的“幻觉”问题,提出了一种新颖的方法KG-CoI(知识支持的思想链)。这一系统通过整合知识图谱的外部结构化知识,改进了语言模型的推理过程,从而提高假设生成的准确性,并显著降低错误输出的可能性,其成果对实际科学研究具有积极的推动作用。
Nov, 2024