reasoning benchmarks | BriefGPT

关键词reasoning benchmarks

搜索结果 - 7

示范笔记本：从交互中找出最适合上下文学习示例
使用新颖的 “演示笔记本” 对象，通过从语言模型过去的交互中收集和重复使用信息来选择问题的适当示例，从而实现了自动演示构建和选择的方法，并在多个推理基准上取得了最先进的结果。同时，通过对演示的严格分析方法，揭示了不同问题类型之间演示的相关性
PDF18 days ago
提示求解之前的线索引导：指导 LLMs 有效利用编码知识
通过引入 Hint-before-Solving Prompting (HSP) 方法，将高质量提示应用于大型语言模型的解题过程，有效地提高了推理任务的准确性，并建立了 HSPMATH 数据集，提高了解题准确性。
PDF4 months ago
一个关于训练于符号多步推理任务的 Transformer 的机制分析
通过对合成推理任务进行综合机械分析，我们鉴定了一组可解释的机制，这个模型用来解决任务，并使用相关和因果证据验证了我们的发现。我们的结果表明，它实现了一组深度有限的并行循环机制，并将中间结果存储在选择的令牌位置，我们期望我们在合成环境中鉴定的
PDF4 months ago
大型语言模型推理的分而治之
大型语言模型在处理多项选择题时，通过引入分治策略并使用先验知识推理和选择过滤等方法，能够显著提高推理能力，并在算术、常识和逻辑任务中获得显著改进。
PDF6 months ago
大型语言模型的思维多样性提高推理能力
通过改变输入提示的多样性，并借助多种演绎方法，我们提出的 DIV-SE 和 IDIV-SE 方法在不改变解码过程的前提下，通过多种推理调用和单次推理调用中的多样提示，在固定生成预算的情况下，在多个推理基准和最新的计划基准上，优于现有基线，并
PDF9 months ago
对齐之毒
通过实验证明，内容安全问题角度来看，对齐对指令调整模型的性能有负面影响，尤其是在各种推理基准测试中，通过有对齐的答案进行调整会使性能下降 4-33%。
PDF10 months ago
利用大语言模型优化小数据集的 Few-shot 推理表现
本研究提出了一种名为 Prompt Space 的新的有效方法，利用文本嵌入来获取基向量并构建表示所有提示的空间，成功解决当前方法缺乏理论基础的问题，取得了在十个公共推理基准上的显著优异表现，为在 LLMs 中进行简单而有效提示的选择提供了
PDFa year ago