- PUZZLES：神经算法推理的基准
算法推理在问题解决和决策过程中起着重要作用，强化学习在运动控制、处理感知输入和管理随机环境等任务中表现出卓越的技能。本研究引入了 PUZZLES，这是一个基于 Simon Tatham 的便携式拼图集的基准，旨在促进算法和逻辑推理在强化学习 - CVPRTransformer 相遇神经算法推理者
使用 Transformer 的语言理解和图神经网络（GNN）的鲁棒性，我们提出了一种新的方法，将 Transformer 与基于神经算法推理器（NARs）的图算法进行结合，以解决算法推理方面的问题。经过评估，在算法推理方面，我们的结果表明 - 通过多令牌预测实现更好、更快的大型语言模型
我们建议通过训练语言模型来预测多个未来标记，以提高样本利用效率，并对其下游能力进行改进，特别是在多词预测作为辅助训练任务时，在代码和自然语言生成模型方面获得了显著的改善。
- 语言模型能解决奥林匹克编程吗？
计算竞赛，语言模型，USACO 基准，竞技编程，算法推理
- 通过解释解决方案程序提取 LLM 中的算法推理
通过解释解决方案来提取大型语言模型的推理能力，并将其应用于解决有竞争水平的编程挑战，从而实现了更高的解决率。
- 语言模型作为编译器：模拟伪代码执行提升语言模型的算法推理能力
该论文介绍了一种名为 Think-and-Execute 的新框架，它将语言模型的推理过程分解为两步：首先在思考阶段，发现共享于给定任务所有实例的任务级逻辑，然后用伪代码表达逻辑；然后在执行阶段，进一步针对每个实例调整生成的伪代码并模拟代码 - NeuralThink: 通用任务的算法综合
机器学习方法在模式识别方面表现出色，然而在可伸缩的算法推理任务方面仍存在困难。近期的深度思考方法在学习算法的外推方面表现出希望，即在较小的环境中学习并在较大的环境中执行学习到的算法。然而，这些方法局限于对称任务，其中输入和输出维度相同。为了 - 图神经网络中的算法推理
通过与神经网络和热带代数的连接，将算法推理集成到机器学习模型中的潜力展示出来。
- 图神经网络的神经优先队列
本文介绍了一种用于图神经网络（GNNs）的可微分算法优先队列 —— 神经优先队列（Neural PQs），使用该方法可以捕捉长距离的相互作用并增强算法推理的性能。
- 随机位置编码增强 Transformer 的长度泛化
本研究发现，Transformers 在固定上下文长度的任务中表现出快速泛化的特性。但是，它们不能在任意长度序列上泛化，即使是像复制字符串这样的简单任务也不行。本文介绍了一种新的位置编码方案，可以解决长序列位置编码失效的问题，并通过大规模实 - 用神经算法进行组合优化的推理
本研究针对组合优化问题，提出了在深度学习模型训练前进行预训练以利用相关算法对于解决 TSP 问题具有提升作用的算法推理方法，并证明该方法能够优于传统深度学习模型。
- 超越代码：头脑风暴提升大型语言模型的代码生成能力
本文介绍 Brainstorm 框架用于代码生成，该框架利用头脑风暴步骤生成和选择解决问题的可能性方案，从而极大地增强了大语言模型（LLMs）解决竞赛级编程问题的能力，可以与人类程序员的水平相媲美。
- 符号调整改善语言模型的上下文学习
我们提出了符号调整 - 在上下文输入标签对上细调语言模型，在这些对中，自然语言标签（例如 “正 / 负情感”）被替换为任意符号（例如 “foo/bar”）。通过针对符号进行调整，可以提高性能，为算法推理和跟踪文本上下文提供更多信息。
- 深度神经网络是否比二年级学生更聪明？
本文旨在研究神经网络的广泛性，提出 SMART 算法推理任务和关联的 SMART-101 数据集以评估神经网络在 6-8 岁儿童视觉语言谜题领域中的抽象、推理和概括能力，结果表明，神经网络在特定领域的表现合理，但不具有良好的广泛性，Chat - 通过上下文学习教授算法推理
该研究通过四个关键阶段成功地向大语言模型（LLMs）教授算法推理，提出了算法提示的概念并在多种算术和定量推理任务中进行了评估，取得了显着的性能提升。
- AAAI通过自然语言可满足性推动变形金刚规则推理的极限
本研究通过提出一种新的方法构建具有挑战性的自然语言可满足性问题数据集，以研究 transformer 模型的推理能力，发现这些模型在解决困难的 NLSat 问题方面表现出非常强的能力，但仍然存在限制，包括需要选取适当的训练数据才能适用于更大 - 如何将算法推理知识转移至学习新算法？
本文探讨了如何利用执行步骤信息，通过多任务学习将图算法的算法推理知识迁移到其他类似任务上，解决缺乏执行步骤信息时的推理问题。研究包括了包括宽度优先搜索和 Bellman-Ford 等并行算法，以及 Prim 和 Dijkstra 等流贪心算 - ICLR持续消息传递
本文介绍了 Persistent Message Passing (PMP) 机制，该机制为 GNN 的 latent representations 中加入了查询过去状态的能力，从而更好地支持时间依赖性数据结构的查询，允许 GNN 创建新 - 神经执行引擎：学习执行子程序
通过研究数值子程序，该论文发现基于 transformer 的序列到序列模型可以学习排序等子程序，但当列表长度超出训练集时，性能迅速下降。作者提出了一种条件掩蔽机制来解决这个问题，并展示了使用二进制表示编码数字可以处理训练过程中未见数据的能