ICLRJul, 2023

使用循环变压器学习解决约束满足问题

PDF
TL;DR本文利用 Transformer 扩展递归方法，优于现有的方法，对解决约束满足问题进行了研究，包含对视觉约束推理问题的应用和利用离散约束的演绎知识来实现 CSPs 的半监督学习和样本高效学习。
constraint satisfaction problemstransformer extended with recurrencegraph neural networksvisual constraint reasoning problemsdeductive knowledge of discrete constraints
发现论文，激发创造
  • 基于 Transformer 革新混合整数规划问题的求解方法

    利用变压器模型解决容量限制批量问题，并通过深度学习框架和线性规划解决被认为是 NP - 难的问题，提供了解决时效、优化率和可行性等方面超越当前最先进解法的算法。

    Feb, 2024

  • 基于扩散的组合连续约束求解器

    介绍一种学习解决连续约束满足问题（CCSP）的方法，在机器人推理和规划中应用。该方法通过将问题表示为因子图，并结合经过训练的扩散模型的能量来获得 CCSP 的全局解。Diffusion-CCSP 对已知约束的新组合表现出强大的泛化能力，并可与任务和动作规划器集成，设计包含离散和连续参数动作的长期规划。

    Sep, 2023

  • 连续时空转换器

    这篇论文介绍了一种新的基于 Continuous Spatiotemporal Transformer (CST) 的连续动态系统建模方法，能够通过 Sobolev 空间的优化保证连续且平滑输出，实现了对实验数据中脑电波等连续系统的建模，性能在各项任务中均优于传统的基于离散时间和空间的 Transformer 模型及其他动态系统建模方法。

    Jan, 2023

  • DeepSaDe：学习保证域约束满足的神经网络

    本文提供了一种训练神经网络的方法，用于满足各种领域约束。该方法将线性模型学习的思路引入神经网络，并添加了关键的约束传播和基于梯度下降和 CSP 求解的权重更新。实验结果表明，该方法足够灵活，可以保证满足神经网络中的广泛分布的约束。

    Mar, 2023

  • 基于 Transformer 的符号回归规划

    提出了一种基于变压器（Transformer）的符号回归规划策略（TPSR），它融合了蒙特卡罗树搜索，允许将准确性和复杂性等非可微反馈信息整合到方程生成过程中，并且在多个数据集上进行的广泛实验表明，TPSR 方法优于现有的方法。

    Mar, 2023

  • 像 Transformer 一样思考

    本文提出了一种计算模型，将 Transformer-encoder 的基本组件 attention 和 feed-forward 计算映射到简单的原语中，并形成一种编程语言 RASP，用于编程解决可能由 Transformer 学习的任务，并演示了如何训练 Transformer 模仿 RASP 解决方案，并且利用该模型分析了所需图层和注意头数。

    Jun, 2021

  • PDP: 一个通用的神经网络框架，用于学习约束满足求解器

    本论文提出了一种基于图神经网络的通用框架，可用于以完全无监督的方式通过能量最小化解决 CSP 问题，并通过在图模型中传播、减少和预测的方法学习搜索策略，从而比现有的神经网络和基线模型更有效地解决 SAT 问题。

    Mar, 2019

  • 用于科学发现的符号回归的 Transformer 模型

    这篇研究论文介绍了一种新的 Transformer 模型，用于符号回归（Symbolic Regression）特别关注其在科学发现领域的应用。我们提出了三种不断增加灵活性的编码器架构，但代价是列置换等变性的破坏。训练结果表明，最灵活的架构能够防止过拟合。经过训练后，我们应用最佳模型到符号回归科学发现数据集（SRSD 数据集），使用归一化的基于树的编辑距离获得了最新的结果，而且不需要额外的计算成本。

    Dec, 2023

  • 基于翻译的约束答案集求解方法

    本研究提出了一种新的方法，将约束处理技术与 Answer Set Programming（ASP）相结合，可以解决 ASP 中的有趣约束满足问题，并显示如何将有限域上的约束分解成逻辑程序，以便使用单元传播实现弧、束或范围一致性，并且对编码进行的实验表明它们的计算影响。

    Jul, 2010

  • 一个模型，适用于任何 CSP: 图神经网络作为快速全局搜索启发式算法用于约束满足

    提出了一种通用的图神经网络架构，该架构可以作为任何约束满足问题的端到端搜索启发式进行训练。该方法基于一种新颖的 CSP 图形表示，可以以纯数据驱动的方式为任何 CSP 生成问题特定的启发式，对于从随机数据中学习启发式，该方法在已知的 CSP 上优于以前的 RL 方法，并且可以与传统搜索启发式竞争或更好地处理结构更为复杂的测试实例。

    Aug, 2022