Jun, 2023

STEPS：顺序任务中顺序推理能力的基准测试

PDF
TL;DR提出了一个基于序列任务的具有挑战性的基准测试 STEPS，它包括两个子任务设置，聚焦于确定食谱中给定下一步的合理性和从多项选择题中选择合理步骤，通过实验结果说明了序列任务中的常识推理具有挑战性，并且提示方法在 STEPS 上仍然明显落后于基于调优的方法。
sequence of actionsorder reasoning capabilityneural modelsrecipe next steplarge language models
发现论文，激发创造
  • IsarStep: 高层次数学推理的基准测试

    本文提出了一种用于高级数学推理的数据集，研究了神经序列到序列模型的推理能力。实验结果表明，该任务具有挑战性，但神经模型能够捕捉到非平凡的数学推理，提出的分层 Transformer 的性能也好于基准 Transformer。

    Jun, 2020

  • STREET: 一个多任务结构化推理和解释基准

    本文介绍 STREET，一个统一的多任务、多领域自然语言推理和解释基准。该基准要求模型不仅能回答问题，还能产生步骤化的结构化解释，并描述问题中的前提是如何用于产生能证明某个答案正确性的中间结论。作者使用 GPT-3 和 T5 等常见语言模型进行了广泛的评估，发现这些模型在产生这些结构化推理步骤方面仍远落后于人类表现。作者相信，这项工作将为社区提供一种更好的方法，以在自然语言的多步推理和解释方面进行更好的系统培训和测试。

    Feb, 2023

  • 利用关系抽象进行推理的学习

    本文介绍了一种利用关系抽象概念来帮助大型语言模型在数学推理方面提高的新方法，并发现将这种序列用作提示可使模型具有更强的推理能力，特别是在需要执行多步任务的情况下。

    Oct, 2022

  • 思维链的强弱取决于最薄弱一环：推理链验证器的基准评估

    我们引入了 Reveal：推理验证评估，这是一个新的数据集，用于在开放域问题回答设置中评估复杂的链式推理的自动验证器，包括语言模型的答案中每个推理步骤的相关性、证据归因和逻辑正确性的全面标签。

    Feb, 2024

  • 为什么要逐步思考？推理出自于体验的本地性

    使用语言模型探究推理何时及为何有帮助，得出推理步骤的有效性取决于训练数据的统计结构和中间变量与目标推理之间的相关性。

    Apr, 2023

  • StepGame：文本中鲁棒型多跳空间推理的新基准

    本文提出了一个新的多跳空间推理文本问答数据集 StepGame，并利用基于张量积的记忆增强神经网络（TP-MANN）解决空间推理任务，得到了比 bAbI 数据集更好的性能和稳健性能。

    Apr, 2022

  • PizzaCommonSense: 学习对烹饪食谱的中间步骤进行常识推理

    基于 T5 和 GPT-3.5 的基线模型，该研究论文介绍了具有中间步骤描述的烹饪食谱语料库，以有效地理解和推理烹饪食谱中的输入和输出，从而为智能推理和程序文本生成提供了有关常识推理的挑战性任务和见解。

    Jan, 2024

  • 使用 WikiHow 进行目标、步骤和时间排序的推理

    该研究提出了关于过程事件中两种类型的推理任务：目标 - 步骤关系和步骤 - 步骤时间关系。通过基于 how-to 文章的 wikiHow 数据集，建立人类验证的测试集和生成自动训练集。经实验证明，训练集有效地提高了在 SWAG，Snips 和故事 Cloze 测试的性能。

    Sep, 2020

  • ReAct: 在语言模型中协同推理与行动

    使用名为 ReAct 的方法，在大型语言模型中交错生成推理迹线和任务特定的操作，以促进两者之间的协作，从而在多项语言理解和决策任务中提高其有效性，同时优于缺乏推理或行为组件的方法。

    Oct, 2022

  • 一步一步：里程碑式的长期视觉语言导航

    提出了一种基于里程碑的任务追踪模型（M-TRACK），可帮助自主代理并监测其进展，通过在具有大量行动序列和导航里程碑的长时间任务中的应用，相较基础模型获得了 33% 和 52% 的成功率提高。

    Feb, 2022