分治网络

ICLRNov, 2016

Divide and Conquer Networks

Alex Nowak-Vila, David Folqué, Joan Bruna

TL;DR该论文介绍了基于观察输入输出对的算法任务的学习方法，使用分而治之的思想创建了递归动态定义的神经网络结构来优化计算复杂度，并成功应用于凸包，聚类等多项组合问题的求解。

Abstract

We consider the learning of algorithmic tasks by mere observation of input-output pairs. Rather than studying this as a black-box discrete regression problem with no assumption whatsoever on the input-output mapping, we concentrate on tasks that are amenable to the principle of divide

divide-and-conquer network algorithmic tasks neural architectures combinatorial tasks computational complexity

发现论文，激发创造

利用分治原则提高机器学习推理性能

本文探讨了在 CPU 上部署机器学习模型的缩放问题，提出了一种基于分而治之原则的简单而有效的方法来解决这个实际重要的问题，在 OnnxRuntime 框架中实施并用几个用例来评估其有效性，包括用于 OCR 和 NLP 的著名模型。

Jan, 2023

UDC: 大规模组合优化问题的统一神经分而治之框架

该研究论文介绍了一种统一的神经分治框架（UDC），用于解决一般的大规模组合优化问题。UDC 采用了一种分治 - 征服 - 重组（DCR）训练方法，通过采用高效的图神经网络（GNN）进行全局分治和采用固定长度子路径求解器征服子问题，实现广泛的适用性，并在 10 个代表性的大规模组合优化问题中取得了优越的性能。

Jun, 2024

混合凸组合优化问题下的深度学习

本研究提出了一种递归小批量算法，通过离散优化目标找到满足训练集目标的硬阈值激活神经网络，可以提高分类精度，适用于大规模集成系统。

Oct, 2017

模块化网络：学习分解神经计算

本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

Nov, 2018

多任务学习的分支学习

本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

Jun, 2020

通过分割、限制和征服学习逻辑程序

本文介绍一种采用经典分治搜索和现代约束驱动搜索相结合的归纳逻辑编程方法，可以学习最优、递归和大型程序，支持谓词发明，并在三个领域的实验中展示了该方法可以提高预测准确性和缩短学习时间。

Sep, 2021

基于数据驱动的神经网络算法设计及其在分支定界中的应用

数据驱动算法设计通过使用统计和机器学习技术，从一个算法类中选择一个在某个（未知）分布中期望表现最佳的算法。该论文提出了一种在解决问题时可以基于问题实例选择算法的思想，并应用于混合整数优化的分支切割框架中，通过神经网络在决策中起到重要作用。

Feb, 2024

当离散优化规模与神经网络一样大时该如何处理？

本研究比较了使用纯粹外推梯度信息和比较有效解的两种方法，以解决离散优化问题在机器学习应用中的使用，首先概述了这两种方法及其缺点，然后通过实验证明了它们的性能差异。

Feb, 2024

多分支网络中的连接学习

该研究提出了一种基于学习算法的多分支卷积神经网络模型，通过优化单一损失函数同时学习多个分支之间的连接关系，应用于多类别图像分类任务，取得优于同等学习能力的 ResNeXt 多分支网络的准确率。

Sep, 2017

可微分算法学习

本论文探讨了算法监督的概念，提出了一种连续松弛算法的一般方法，定量评估了算法和神经网络的组合对性能和效率的增益，并探讨了在算法中引入可微性的各种不同技术和训练策略。

Sep, 2022