ICMLJul, 2021

PonderNet: 学习思考

PDF
TL;DRPonderNet is a new algorithm that adapts the amount of computation for neural networks based on the complexity of the problem, achieving an effective compromise between training prediction accuracy, computational cost and generalization, and reaching state of the art results on complex tasks designed to test the reasoning capabilities of neural networks.
pondernetneural networksadaptive computationcomputation costreasoning capabilities
发现论文，激发创造
  • PALBERT: 教授 ALBERT 思考

    本文提出了一种改进的 PonderNet 模型，采用新的 deterministic Q-exit 准则和修订后的模型体系结构，并将其应用于 ALBERT 和 RoBERTa，结果优于 PABEE，在深入的消融研究中进一步理解了 Lambda 层及其性能。

    Apr, 2022

  • 能否学习算法？使用循环网络从易到难问题进行泛化

    本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

    Jun, 2021

  • 深度学习中条件计算的容量与计算比例呈指数级增长

    该论文提出了一种新颖的神经网络权重矩阵参数化方法，通过激活一些参数和计算 “按需” 地在每个样本上进行，从而可以提高参数数量与计算之间的比率，以提高深度神经网络的泛化能力，并且通过树状结构的参数化方式，进一步控制过拟合。

    Jun, 2014

  • 自适应计算的推理学习

    本文说明自适应计算对于学习不同难度样例所需推断步骤的有效性，且学习正确推断步数是困难的；还介绍了首个涉及自适应计算时间的模型，不仅在与没有自适应部分的类似模型相比性能更佳，还能深入理解模型的推理过程。

    Oct, 2016

  • NeuralThink: 通用任务的算法综合

    机器学习方法在模式识别方面表现出色，然而在可伸缩的算法推理任务方面仍存在困难。近期的深度思考方法在学习算法的外推方面表现出希望，即在较小的环境中学习并在较大的环境中执行学习到的算法。然而，这些方法局限于对称任务，其中输入和输出维度相同。为了弥补这一差距，我们提出了一种名为 NeuralThink 的新循环架构，能够一致地对称和不对称任务进行外推，其中输入和输出的维度不同。我们通过引入一种新颖的不对称任务基准来做出贡献。我们展示了 NeuralThink 在对称和不对称任务的稳定外推方面始终优于先前最先进的深度思考架构，尤其是对于从较小的训练样本中稳定地外推到较大观测样本。

    Feb, 2024

  • ReasoNet：机器阅读理解任务中的停止阅读学习

    本文描述了一种名为 Reasoning Network (ReasoNet) 的神经网络架构，用于机器理解任务。ReasoNets 通过多次迭代，利用查询、文档和答案之间的关系进行推理，运用强化学习动态地决定是否继续理解过程，已在多种数据集上实现了出色的机器理解表现。

    Sep, 2016

  • 自适应递归视觉执行零样本计算，以适应未见困难程度的扩展

    通過使用自適應遞歸神經網絡，我們研究了可根據輸入要求動態分配計算資源的遞歸處理，在視覺推理問題中實現了對更困難程度的一般化，而無需訓練。

    Nov, 2023

  • 模块化网络：学习分解神经计算

    本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

    Nov, 2018

  • 渐进式神经网络

    本论文研究了使用 Progressive Networks 这种方法来解决转移学习和遗忘问题，通过提出新的敏感性测量方法来评价该方法在各种强化学习任务上的表现，并表明它优于基于预训练和微调的常见基线。

    Jun, 2016

  • 使用循环神经网络进行端到端算法合成：逻辑推断而不过度思考

    本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。

    Feb, 2022