Jun, 2019

神经引导的结构推断

HTML
PDF
TL;DR本文提出了一个混合推理算法——Neurally-Guided Structure Inference (NG-SI)，它将基于搜索的和基于数据的方法的优点相结合，通过使用神经网络指导结构的分层搜索，提高了结构推断的效率。在两个典型的结构推断任务中，概率矩阵分解和符号程序解析中，NG-SI的表现优于基于数据驱动和具有搜索性质的替代方案。
发现论文，激发创造
  • 结构学习的结构先验

    本文提出了一种基于贝叶斯网络结构学习的非参数生成模型，采用分层贝叶斯框架来捕捉变量之间的系统性关系，通过MCMC算法推导出变量的类别、贝叶斯网络结构和类别间的先验概率，实验证明该方法在小样本数据集中更准确。

    Jun, 2012

  • 利用复合性探索模型结构的广阔空间

    通过生成上下文无关文法来组织矩阵分解模型以进行模型选择，使用小型可重用算法估计预测似然和推断潜在组件，通过贪心搜索自动选择分解结构。

    Oct, 2012

  • 基于神经引导的演绎式搜索：以示例为基础的实时程序综合

    本文介绍了神经引导演绎搜索(NGDS)技术，应用于编写用户意图程序的问题，结合了符号逻辑技术和统计模型，通过演绎搜索框架来学习神经网络组件，以找到最适合提供的规范的程序，并在真实客户场景中验证其实用性。

    Apr, 2018

  • 神经架构搜索的随机搜索与可复现性

    本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法，并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明，该方法在两个标准的NAS基准测试中表现出色，并且可以复现。

    Feb, 2019

  • 神经结构化预测的近似推断方法基准测试

    比较了使用输出结构梯度下降和神经网络推断两种方法在三个序列标注数据集上的性能，发现使用推断网络的速度和准确度均优于梯度下降法，且在相似精度下较准确的推断速度更快。结论表明，这两种方法的结合有利于提高性能。

    Apr, 2019

  • 神经网络中组合性实现

    本文详细比较了两种序列模型在试图解决合成任务时的差别，通过更多的监督信号，辅助注意机制，参数空间和隐藏层激活机制的不同，发现具有引导性的网络在识别更组合解决方案方面具有更高的效率，并且展现出更加模块化的神经元特点。

    Jun, 2019

  • 可处理的结构学习不确定性

    本文介绍了一种名为TRUST的框架，利用概率电路表示后验信念，通过推理查询可以更好地捕捉有向无环图（DAG）的空间，进而提高结构推断质量和后验不确定性，并在条件查询中展现了TRUST的实际效用。

    Apr, 2022

  • 从零开始发现神经网络架构

    通过代数视角来表达网络结构，我们提出了一种更具有广泛性的方法来设计搜索空间，并提出了一种Bayesian Optimization策略来高效地在巨大的搜索空间中搜索，实验证明我们的搜索空间设计和搜索策略可以优于现有基准。

    Nov, 2022

  • 神经网络中结构组合性的证据

    利用模型修剪技术，在视觉和语言领域的各种架构、任务和预训练方案中，研究神经网络是否通过模块化子网络实现子程序的解决方案，结果表明神经网络通常可以展示组合性，避免了专门的符号机制。

    Jan, 2023

  • 基于结构学习的正义高效Motif搜索算法

    本文提出了一种基于随机过程的方法来挖掘抽象化的图形模型中的结构语素, 并通过标准测试发现其准确度比现有的结构学习方法高出了6％，计算时间快80％.

    Feb, 2023