NeuralThink: 通用任务的算法综合

Feb, 2024

NeuralThink: Algorithm Synthesis that Extrapolates in General Tasks

Bernardo Esteves, Miguel Vasco, Francisco S. Melo

TL;DR机器学习方法在模式识别方面表现出色，然而在可伸缩的算法推理任务方面仍存在困难。近期的深度思考方法在学习算法的外推方面表现出希望，即在较小的环境中学习并在较大的环境中执行学习到的算法。然而，这些方法局限于对称任务，其中输入和输出维度相同。为了弥补这一差距，我们提出了一种名为 NeuralThink 的新循环架构，能够一致地对称和不对称任务进行外推，其中输入和输出的维度不同。我们通过引入一种新颖的不对称任务基准来做出贡献。我们展示了 NeuralThink 在对称和不对称任务的稳定外推方面始终优于先前最先进的深度思考架构，尤其是对于从较小的训练样本中稳定地外推到较大观测样本。

Abstract

While machine learning methods excel at pattern recognition, they struggle with complex reasoning tasks in a scalable, algorithmic manner. Recent Deep Thinking methods show promise in learning algorithms that extrapolate: learning in smaller environments and executing the learned algor

machine learning deep thinking algorithmic reasoning neural networks asymmetrical tasks

发现论文，激发创造

使用循环神经网络进行端到端算法合成：逻辑推断而不过度思考

本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。

Feb, 2022

支持外推的表征学习

本文考虑了学习支持外推的表示的挑战，引入了一种新颖的视觉类比基准和一种简单的技术：时间上下文归一化来支持关系强调的表示，接着发现该技术显著提高了外推能力，胜过了许多竞争技术。

Jul, 2020

学习外推：一种横式学习方法

本文研究了利用和超参数微调相关的重新参数化策略，增强深度学习系统在特定条件下的组合泛化能力，从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。

Apr, 2023

能否学习算法？使用循环网络从易到难问题进行泛化

本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

Jun, 2021

通过隐含组合进行算法归纳的任务无关架构

提出一种理论框架构建统一的深度网络架构，基于 Transformer 模型以及离散学习框架，以解决当前构建通用网络的挑战。

Apr, 2024

超越 Transformers 的函数学习

本研究通过向 Transformer 架构添加两种归纳学习偏差来探究个体的外推能力，结果表明，这些偏差对大型神经网络模型有帮助，也揭示了人类的归纳性学习偏差的类型。

Apr, 2023

神经数据扩增通过样本外推

提出了一种基于神经扩展范例（Ex2）的数据增强方法，通过从某个分布中抽样得到的一些范例向该分布中生成新范例，应用于语言理解任务中，取得了在几个少样本学习基准上显著的优化结果。

Feb, 2021

神经任务编程：跨层次任务学习泛化

本论文提出了一种新的机器人学习框架 —— 神经任务规划（NTP），实现从任务输入到分解、再到完成的过程，在机器人操纵任务中实现强泛化，展现出层次性和组合性的结构，同时对于长度增加、目标变化的未知任务也具备较强的泛化能力。

Oct, 2017

神经算法推理

通过构建神经网络来执行算法计算的神经算法推理有可能将经典算法运用于以前被视为不可达的输入，从而有了转化性的潜力。

May, 2021

学习单一环境下的反事实 G 不变性的神经网络

针对基于有限转换组的偏移推断问题，本文引入了一种由反事实引导的学习框架，其通过在模型中实现对于 (已知) 转换组的不变性来提高神经网络对偏移推断的鲁棒性，并通过序列和图像推断任务对此方法进行验证。

Apr, 2021