Jun, 2024

大型语言模型知识推理的脑力激荡

PDF
TL;DR通过多模型合作和多模型头脑风暴的方式，可以在逻辑推理和事实提取方面显著提高效果，并且发现两个小参数模型通过头脑风暴可以达到接近大参数模型的准确度，为大型语言模型的分布式部署提供了新的解决方案。
large language modelsmulti-model collaborationmulti-model brainstorminglogical reasoningfact extraction
发现论文，激发创造
  • 通过多智能体辩论提高语言模型的事实性和推理能力

    该论文介绍了一种新方法，即通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，从而改善语言响应的表现，特别是在数学和策略推理方面，改善了已有模型中一些常见问题，如虚假答案和幻觉现象，并有望显著提高大型语言模型的性能和开拓语言生成和理解领域。

    May, 2023

  • 超越代码：头脑风暴提升大型语言模型的代码生成能力

    本文介绍 Brainstorm 框架用于代码生成，该框架利用头脑风暴步骤生成和选择解决问题的可能性方案，从而极大地增强了大语言模型（LLMs）解决竞赛级编程问题的能力，可以与人类程序员的水平相媲美。

    May, 2023

  • 潜在的数学和科学问题头脑风暴伙伴: LLMs

    利用最新的大型语言模型（LLM），尤其是 GPT-4，我们综合案例研究共同探索当前最先进的 LLM 在人类集体头脑风暴中的能力和限制。

    Oct, 2023

  • 思维导图：大型语言模型中的知识图谱引发思维火花

    借助知识图谱，本研究探索了如何通过知识图谱向 LLMs 提供新知识和推理路径，并通过生成心智地图来解释 LLMs 的推理过程，实验证明 MindMap 方法在问答任务中显著提升了性能。

    Aug, 2023

  • 通过知识图谱集成协作的强化提示型 LLM 推理方案

    利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

    Feb, 2024

  • 知识增强大型语言模型的原则框架

    这篇论文介绍了一个严格设计的框架，用于创建能够有效锚定知识并采用闭环推理过程的大型语言模型，以提升其进行深入分析的能力，同时解剖了该框架的组成部分对模型性能的贡献，从而为改进推理能力提供了理论保证。

    Nov, 2023

  • 在教育和评估应用中探索提示式大型语言模型的能力

    利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

    May, 2024

  • 利用大型语言模型进行概念设计生成

    本论文研究利用自然语言处理和机器学习技术进行概念生成，比较生成方案和众包解决方案的异同，结论表明，利用 LLM 技术生成的方案平均可行性和实用性更高，而众包解决方案更具新颖性。

    May, 2023

  • 外部推理：朝着多大语言模型互换人类反馈的辅助方向

    通过对 LLMs 的选择性整合外部知识，介绍了一种基于多个 LLM 之间交互协助的外部推理新方法 (ChatPDF)，在人类反馈的响应下，根据查询的复杂性调整支持水平，经过全面评估后取得了最先进的性能，并且相比 LLMs 直接处理全文，这种方法更加高效。

    Jul, 2023

  • 第一步优势：多步推理中开始正确的重要性

    大型语言模型可以通过为其预测生成理由来解决复杂的推理任务。通过将这些功能融入到较小、紧凑的模型中，可以促进为特定任务量身定制的专门、经济高效的模型的创建。然而，较小的模型在复杂的推理任务中常常面临挑战，并且通常会偏离正确的推理路径。我们发现，只有在恰当的时机介入，大型语言模型才能指导较小的模型并将它们带回正确的推理路径。我们发现，较小的模型在推理方面主要因为难以启动过程而失败，引导它们朝正确的方向发展可以使性能提高 100% 以上。我们探索不同的模型大小并评估提供指导以改善较小模型推理能力的益处。

    Nov, 2023