提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

Oct, 2022

使用基于块的 NAS 方法实现在大规模任务上的量化感知 NAS (INT8 和 FB-MP)，并在 Cityscapes 数据集上展示了显著的结果，找到了比 DeepLabV3 (INT8) 模型小 33%， INT8 模型快 17.6% 的 FB-MP 模型，而不影响任务性能。

Jan, 2024

该研究使用神经架构搜索技术将优选算术位宽分配和网络剪枝问题制定为通过搜索满足计算复杂性预算并最大化准确性的配置的神经架构搜索问题，旨在减少计算时间开支。

Apr, 2019

提出了一种基于图卷积网络（GCN）的性能预测器，用于实现高效的硬件感知神经架构搜索（BRP-NAS）。与以往的方法不同，该方法重视模型之间的二元关系和迭代数据选择策略，实现了更高效的样本利用率。研究表明，该方法在多项飞行器搜索领域中的性能表现均优于现有方法，并呼吁人们重视准确的时延估计。

Jul, 2020

提出了一种自适应于分布熵的采样方法，从而实现快速的多元空间神经体系结构搜索，成为 FP-NAS。通过 FP-NAS，可以使搜索空间变得更大、更深、更准确，速度比其他方法快 2.1 倍 - 3.5 倍，并且可以直接搜索高达 1.0G FLOPS 的大模型，在数字图像分类方面表现出色。

Nov, 2020

该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小 21.1 倍或计算量降低 103.9 倍

Nov, 2018

本文提出一种新颖的网络架构搜索 (NAS) 方法，用于优化 Bayesian 神经网络（BNN）的精度和不确定性，同时减少推理延迟。与传统的 NAS 不同，该方法使用来自内部和外部分布的数据搜索模型的不确定性性能，从而可以在网络中搜索贝叶斯层的正确位置，并且相对于流行的 BNN 基线，使用的运行时仅为其一小部分，将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。

Feb, 2022

该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在 MobileNetV1 和 MobileNetV2 上进行了评估，在具有不同硬件特性的多核 RISC-V 微控制器平台上展示了与 8 位模型相比高达 28.6% 的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

Jul, 2023

通过 Bayesian 分析，提出一种可实现后验均衡的神经网络架构搜索方法，该方法引入硬延迟约束，在满足标准 GPU 延迟约束的情况下，在 ImageNet 数据集上取得了最先进的性能，并在其他计算机视觉应用中实现了模型结构迁移。

Oct, 2019

通过算法使表格数据的模型更公平一直以来都得到了广泛研究，但是技术一直偏向于修复不理想结果的神经模型，改变数据导入方式、模型权重或输出处理方式。本研究采用不同的策略，考虑更新模型的架构和训练超参数，从而在去偏执过程的开始找到具有更好结果的全新模型。我们首次将多目标神经架构搜索（NAS）和超参数优化（HPO) 应用于表格数据的领域，对 MLP、ResNet 和 FT-Transformer 进行了广泛的架构和超参数空间探索，展示了模型预测的准确性和公平性指标在超参数组合上的依赖关系。我们发现，仅为了准确性而经过 NAS 优化的模型往往无法固有地解决公平性问题。我们提出了一种新颖的方法，通过同时优化架构和训练超参数，以准确性和公平性的多目标约束来解决问题。我们设计了能在公平性、准确性或两者方面优于目前最先进的偏执缓解方法的模型，并在单目标（准确性）优化运行过程中达到了帕累托最优。该研究强调了在深度学习模型中自动化公平性和准确性优化的潜力。

Oct, 2023