- SLOPE: 带学习的最优剪枝扩展搜索
通过学习最佳剪枝扩展的搜索方法(SLOPE),在限制的计算环境下,我们实现了对最优路径附近区域的探索,降低了内存和计算成本。
- 期望工作搜索:结合胜率和证明大小估计
提出了一种新的游戏求解算法 Expected Work Search (EWS),结合了蒙特卡洛树搜索中使用的胜率估计和证明数搜索中使用的证明大小估计。EWS 的搜索效率源于最小化一种新颖的预期工作概念,其预测解决一个位置所需的期望计算量。 - TG-NAS: 使用 Transformer 和图卷积网络利用零成本的代理进行高效神经架构搜索
TG-NAS 是一种基于模型的通用代理,利用基于 Transformer 的操作符嵌入生成器和图卷积网络 (GCN) 来预测架构性能,通过对各种 NAS 基准测试进行实验证明了其在搜索效率方面的优势,表明其作为高效架构搜索的基础组成部分的潜 - ICML利用局部高斯过程限制搜索维度的贝叶斯优化
通过限制搜索维度并利用本地高斯过程回归(LGPR)将贝叶斯优化(BO)扩展到更高维度,提高了预测准确性、搜索效率和高斯过程回归中的时间复杂度。在 20D Ackley 和 Rosenbrock 函数的评估中,搜索效率相比其他方法提高了约 6 - 通过 GPT 引导的蒙特卡罗树搜索从数据中发现数学公式
SR-GPT 是一种新的符号回归算法,通过将 MCTS 与 GPT 相结合,显著提高了 MCTS 的搜索效率,并利用 MCTS 结果进一步完善 GPT,从而在正确恢复符号表达式方面优于现有的最先进算法。
- 通过双层数据修剪实现高效的架构搜索
提出一种基于 Bi-level Data Pruning (BDP) 范式的新型神经架构搜索优化方法,通过逐步修剪不适合的样本来降低搜索成本,并实现超过 50% 的性能提升。
- 基于 GPT-4 的异质图神经架构搜索
通过使用 GPT-4 模型,本论文提出了一种新的 GPT-4 增强的异构图神经网络结构搜索 (GHGNAS),以提高搜索效率和准确性,并通过实验证明 GHGNAS 可以利用 GPT-4 的强大泛化能力,运行更有效和更稳定。
- 层次化” 视觉表征是否层次化?
通过在 HierNet 数据集上进行广泛评估,我们得出结论,分层可视化表示并不比标准表示更好地捕捉层次关系,但在搜索效率和可解释性等方面有所帮助。
- DistDNAS: 2 小时内高效搜索特征交互
DistDNAS 是一种有效的特征交互设计的解决方案,通过分布式搜索和聚合选择最佳交互模块,实现了 25 倍的加速和将搜索成本从 2 天降低到 2 小时,同时引入可区分的成本感知损失以提高服务效率,并在 1TB Criteo Terabyt - 用概率树状态抽象加速蒙特卡罗树搜索
通过引入概率树状态抽象(PTSA)算法,改善了常见的蒙特卡罗树搜索(MCTS)算法的搜索效率,并且与最先进的算法结合使用,降低了 10% 至 45% 的搜索空间。
- DiffNAS: 通过促使更好的架构引导扩散模型
通过使用扩散模型和基模型搜索的方法,在基于 GPT-4 场景下,提高了搜索效率 2 倍,并在 CIFAR10 上相对于基准 IDDPM 算法,取得了 2.82 的性能和 0.37 的 FID 改进。
- ICLRAutoTransfer: 自动机器学习的知识迁移 —— 应用于图神经网络
AutoTransfer: 提出了一种 AutoML 的解决方案,它通过将先前的架构设计知识转移到新的任务,从而提高搜索效率,并在图机器学习领域的六个数据集上进行评估。
- 神经加速器的快速和最优硬件软件协同设计的半解耦方法
本文提出了一种半解耦合的方法,通过对神经架构进行搜索以获得一组最优架构,然后仅对该小组架构与加速器设计的组合进行优化,从而将总设计空间的大小降低数个数量级,而不会失去最优性,通过在多种架构空间上进行实验的验证,表明该方法可以通过在减少的搜索 - 构建对话式搜索的经济模型
本文基于之前的对话式搜索会话的观察模式,提出了两种经济学模型,即首次反馈和后续反馈,探讨了反馈对初始或后续查询的改进效率以及提供该反馈的相对成本与反馈 / 请求的数量之间的关系,以此为对话式搜索提供了理论框架。
- 发现用于通用任务和动作规划的状态和动作抽象
本文提出一种算法,用于通过学习特征、抽象和广义计划来解决连续机器人任务和运动规划中的困难问题。研究表明,仅使用少量示例学习的简单广义计划可以用于优化 TAMP 求解器的搜索效率。
- ICLRNASI:初始化时的无标签和无数据神经结构搜索
本文介绍了一种名为 NAS at Initialization (NASI) 的新型 NAS 算法,它利用了神经切向核在初始化时表征候选体系结构的收敛性能的能力,从而可以完全避免模型训练以提高搜索效率,并在 CIFAR-10/100 和 I - 预训练模型中存在的彩票大奖
本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法,通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失,从而提高搜索效率和准确性。
- ICML突破空间爆炸的诅咒:基于课程搜索的高效 NAS
我们提出了一种基于课程学习的神经网络架构搜索方法 CNAS,通过逐渐扩展搜索空间的方式,显着提高了搜索效率并发现了比现有 NAS 方法更好的体系结构。
- 非监督式架构表示学习是否有助于神经架构搜索?
本研究发现,基于无监督表征学习预训练神经网络结构表征,而非结合准确度优化开始的结构搜索,在提高下游结构搜索效率方面表现更卓越,因为无监督学习更能促进具有相似连接和算子的神经网络聚集在一起,并使具有类似性能的神经网络在潜在空间中转移更加平滑。
- AAAI基于加权二进制码的高效查询
本论文提出一种使用基于多索引哈希表(multi-index hash tables)方法的加权二进制编码查询算法,通过引入加权汉明距离和表格查找算法及表格合并算法,成功提高了查询的搜索效率和准确性。