Jun, 2024

DNCs 需要更多规划步骤

PDF
TL;DR研究机器学习模型在解决复杂算法问题时忽视所需计算复杂度对其正确解决问题的影响，讨论了计算时间和内存对隐式算法求解器泛化的影响，通过研究不同可规划步骤数的模型，即规划预算，发现规划预算约束可能导致模型泛化能力差，且降低其对外部内存的充分利用。通过在图的最短路径、凸包、图的最小割和关联召回等方面进行评估，展示了规划预算对学习算法的行为，如学习时间复杂度、训练时间、稳定性以及对大于训练集的输入进行泛化的影响。
machine learning modelscomputational complexitygeneralizationdifferentiable neural computerplanning budget
发现论文，激发创造
  • 健壮且可扩展的可微分神经计算机用于问答

    分析了区别于传统深度学习的可微分神经计算机的不足，提出更加稳健、可扩展的 rsDNC，相较于其他模型提高了 bAbI 任务的性能，同时在 CNN RC 任务上也有较好的应用效果。

    Jul, 2018

  • 基于大脑启发的记忆变换的可微分神经计算机，用于基于推理的问答

    本文提出了一种基于记忆变换的可微分神经计算机（MT-DNC），该模型将工作存储器和长期存储器集成到 DNC 中，实现了从工作存储器到长期存储器的自主转换，并有助于有效地提取获得的知识以提高推理能力。实验结果表明，与其他现有的 DNN 和 DNC 模型相比，已提出的方法实现了更好的性能和更快的收敛速度。

    Jan, 2023

  • 通过内存遮罩，反分配和连接分布锐度控制提高可微分神经计算机性能

    Differentiable Neural Computer（DNC）优化算法任务和问答系统，修复存储器分配问题提高了性能。

    Apr, 2019

  • 基于变形关系的可微分神经计算机对抗攻击

    本研究通过元变关系建立对抗性技术，研究了对答案类型的问答任务中，针对不同记忆规模的 Differentiable Neural Computer 面对对抗性攻击的鲁棒性，揭示了构建更加稳健的 DNC 的潜在机遇。

    Sep, 2018

  • 递归算法推理

    本研究提出了一种使用栈来增强图神经网络（GNNs）的方式和一种捕获中间算法轨迹的方法，以改进递归算法的算法对齐，从而提高对较大输入图的泛化性能。

    Jul, 2023

  • 当离散优化规模与神经网络一样大时该如何处理？

    本研究比较了使用纯粹外推梯度信息和比较有效解的两种方法，以解决离散优化问题在机器学习应用中的使用，首先概述了这两种方法及其缺点，然后通过实验证明了它们的性能差异。

    Feb, 2024

  • 统计学习和估计的在线与分布式算法的基本极限

    本文探讨了机器学习中的信息约束，包括内存、通信、数据部分读取等约束对算法性能的影响，并得出针对不同情形，在特定限制下，算法表现将不如无限制情形的结论。

    Nov, 2013

  • 学习使用不确定拓扑地图进行规划

    本文采用一种数据驱动的策略和基于图像的规划，应用于 3D 环境中的导航系统，通过机器学习方法实现了图像哈希表上的最短路径规划，比传统符号算法更优秀。

    Jul, 2020

  • 基于图神经网络的经典规划器选择

    在线规划器选择是选择给定规划问题的预定义求解器之一的任务。本研究通过深入研究所选择 GNN 模型、图表示和节点特征以及预测任务等方面的影响，提出使用 GNN 获得的图表示作为 XGBoost 模型的输入，以实现更具资源效率且准确的方法，展示了多种基于 GNN 的在线规划器选择方法的有效性，为在线规划器选择的新研究方向打开了新的令人兴奋的可能性。

    Jan, 2024

  • DMC4ML: 机器学习的数据移动复杂性

    该论文通过分析 transformers、spatial convolution 和 FFT 三种机器学习算法，提出了三个创新点。首先，它使用抽象的内存层次结构来衡量内存访问成本，而不是传统的时间或空间复杂度。其次，该分析是渐近的，并确定了内存成本的主要来源。最后，该结果是符号的，可以用于选择算法参数，例如分组查询关注力的组大小，以及任意尺寸和头数的批量卷积的批量大小。

    Dec, 2023