math reasoning | BriefGPT - AI 论文速递

关键词math reasoning

搜索结果 - 10

通过错误的合成数据应用 RL 技术提高数理推理任务效率八倍
通过经验研究，我们发现利用模型生成的合成数据进行训练可以提高数学推理的性能，但是通过添加负回答可以进一步增强效果，并去除其中的虚假相关性。
PDF14 days ago
LLM 的元认知能力：数学问题解决探索
这篇论文研究了最新的语言模型（LLMs）在数学推理中所具备的元认知知识，包括能够给数学问题分配合理的技能标签，并通过语义聚类获取更粗略的技能标签。通过相关实验，验证了这些技能标签对 LLMs 的推理过程的意义和相关性。
PDFa month ago
MoELoRA: 基于对比学习引导的专家混合模型在大型语言模型的参数高效微调中的应用
利用对比学习以鼓励专家学习不同特征的方式，我们介绍了一种新的参数效率微调方法 MoELoRA，它在数学推理和常识推理基准测试中表现显著优于 LoRA 和 GPT-3.5。
PDF4 months ago
从推理路径聚合的角度理解语言模型的推理能力
使用预训练语言模型进行复杂推理，理解预训练中的下一标记预测贡献于推理能力，透过聚合间接推理路径来产生新结论，在逻辑推理和数学推理中通过随机游走路径对知识图谱和数学问题中的推理过程进行建模，研究表明，加强未标记的随机游走推理路径可以提高现实世
PDF5 months ago
提高 LLM 推理能力：用强化上下文修剪推动少样本学习的极限
提出了一种名为 CoT-Max 的新方法，通过解决有限样例选择和上下文窗口长度限制的挑战，将 few-shot CoT 学习推进到改进 LLM 数学推理能力的极限，并在多个 LLMs 和 5 个数学数据集上显著优于 CoT 和 few-sh
PDF7 months ago
通过多智能体同行评审协作实现大型语言模型的推理
通过多模型协同合作策略，模拟学术同行评审过程的多个代理人独立构建解决方案，相互审查并分配评审置信度，最终通过反复修订得到优于现有方法的结果，在多个推理任务中展示出卓越的准确性，并在数学推理中体现了对评审置信度整合的有效性，为模仿人类的多代理
PDF8 months ago
查询和响应增强不能帮助领域外数学推理泛化
通过问题演化和多样化推理路径的数据增强，我们验证了用于大型语言模型（LLMs）的数学推理的有效性，并深入缩小开源 LLMs 与尖端专有 LLMs 之间的差距。我们创建了一个名为 AugGSM8K 的新数据集，并使用 AugGSM8K 的子集
PDF9 months ago
使用 GPT-4 代码解释器及基于代码的自验证解决复杂数学问题
通过对 GPT-4 Code Interpreter 的代码使用频率引入不同约束，本文探讨了代码在增强 LLMs 推理能力方面的效果。基于这种见解，我们提出了一种新颖有效的提示方法，即基于代码的自验证（CSV），进一步提升了 GPT-4 C
PDFa year ago
面向多步推理的小语言模型特化
揭示了将大规模语言模型进行特化，使其在特定任务上具有相对较强的表现的可能性，并使用多步数学推理作为测试，通过设计优化措施来提高其广义性能。
PDFa year ago
最少指导下的逐步引导，使得大型语言模型能够进行复杂的推理
本文提出了一种新的提示策略 least-to-most prompting，将复杂问题分解为多个子问题并顺序解决，可以解决比示范范例更难的例子，并在符号操作、组合泛化和数学推理方面表现出色。
PDF2 years ago