May, 2018

神经网络计算能力评估的数列预测问题

HTML
PDF
TL;DR使用数字序列预测任务评估神经网络模型解决算法问题的能力，并通过数字级和数字级问题的提供的两种数字序列预测问题类型，定义其复杂性和难度。实验结果表明，我们的数字序列预测问题有效地评估了机器学习模型的计算能力，并且没有解决通用斐波那契，算术或几何序列生成问题，表示队列自动机或图灵机的复杂性。
发现论文，激发创造
  • 使用堆栈增强循环网络推断算法模式

    本文讨论了标准深度学习方法的局限性，并展示了如何通过以结构化方式增加模型的复杂性来克服这些限制，具体地，研究了仅适用于具有计数和记忆序列能力模型的算法生成序列的最简单序列预测问题，证明了可以使用与可训练内存相关的循环网络从序列数据中学习一些基本算法。

    Mar, 2015

  • 深度学习在数量认知方面的认知缺陷

    本文考察了深度学习在学习数字及subitizing任务上的表现，发现基于样例的深度学习模型无法抽象数字的本质特征；作者构建了一种能够进行subitizing的循环神经网络，探究使用人类洞见补充纯深度学习的方法。这一研究意义重大，因为视觉数量意识代表了人类智力的最低水平。

    Feb, 2018

  • 神经模型的数学推理能力分析

    该研究针对数学领域中的推理、学习、应用规则等独特挑战，提出了一个数学问题套件的任务，用于测试和评估神经架构等系统的性能、能力和失效模式。通过生成数据并运用序列到序列的最强模型，可以从不同角度评估模型在数学问题解决和知识推广方面的能力。

    Apr, 2019

  • 机器数感：一组用于抽象和关系推理的视觉算术问题数据集

    为了将关键的认知能力赋予机器智能，本文提出一个新的数据集，即机器数理感知(MNS)，其由采用And-Or Graph(AOG)语法模型自动生成的视觉算术问题组成，提出结合经典搜索算法和现代神经网络的方法，以更好地理解数字概念和关系运算。

    Apr, 2020

  • 递归序列的深度符号回归

    本文研究利用Transformers模型推断整数或浮点数序列中函数或递归关系，模型在OEIS子集数据集上表现良好，并能够生成有关未知函数或常数的近似。

    Jan, 2022

  • 探索基于循环神经网络的计数行为的长期泛化能力

    本研究探究了LSTM、ReLU和GRU模型在长序列计数任务的泛化能力，并发现虽然先前的理论工作已经建立了具有适当配置的RELU激活和LSTM的计数能力，但是LSTM模型在实验中仍无法学习到正确的计数行为，并且从验证损失及不同模型的失效方式等角度对问题进行了讨论。

    Nov, 2022

  • 神经网络能做算术吗？对当今深度学习模型基本数学技能的调查

    本文回顾了近年来关于深度学习在数学领域的研究，认为当前即使是最先进的深度学习模型在面对简单的数学和算术任务时也表现出较大局限性。

    Mar, 2023

  • 深度神经网络架构中的数值系统：综述

    本篇论文综述了替代数字系统对于提升深度神经网络计算效率的重要性，讨论了使用这些系统所面临的挑战和相应的解决方案，并突出了各种数字系统在DNN性能上的影响和各种设计方面。

    Jul, 2023

  • 自回归下一个单词预测器是通用学习者

    大型语言模型在逻辑和数学推理方面显示出令人瞩目的能力，使它们能够解决复杂的任务。本文提出了一个理论框架来研究自回归的下一个标记预测器。我们证明，即使是简单的模型，如线性的下一个标记预测器在Chain-of-Thought（CoT）数据上训练，也能有效地近似于图灵机计算的任何函数。我们引入了一个新的复杂度度量方法——长度复杂度，它衡量了实现某个目标函数所需的CoT序列中的中间标记数，并分析了长度复杂度与其他复杂度概念之间的相互关系。最后，我们通过实验证明，简单的下一个标记预测器，如线性网络和浅层多层感知器（MLP），在文本生成和算术任务中显示出非平凡的性能。我们的结果表明，语言模型的强大能力很大程度上归功于自回归的下一个标记训练方案，而不一定取决于特定的架构选择。

    Sep, 2023

  • 语言模型轻松完成难算术任务，但几乎不能完成简单算术任务

    大型语言模型在进行算术任务中对多位数乘法的可信准确预测能力较强，而对单位数乘法可信准确预测的能力较差，但在给出正确的高位数字作为条件下，后者任务的可信准确预测能力可以大幅提升。

    Jun, 2024