Feb, 2018

级联预测模型的近似算法

PDF
TL;DR本文介绍了一种近似算法，将一组预训练模型作为输入，并生成一个具有类似准确度但平均成本较低的级联模型，应用于最先进的 ImageNet 分类模型，可将浮点乘法降低达 2 倍，并将平均情况下的内存 I / O 降低达 6 倍。自动生成的级联呈现出直观的特性，如对易于处理的图像使用较低分辨率输入，并在使用计算成本较低的模型时需要更高的预测置信度。
approximation algorithmpre-trained modelscascaded modelimagenet classificationfloating point multiplications
发现论文，激发创造
  • 级联深度分类器的高效摊销推理

    该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

    Oct, 2017

  • 模型级联：提高 NLP 系统的效率和准确性

    本研究旨在探讨利用容量不同的模型集合进行级联的 Model Cascading 技术，能够提高 NLP 系统的计算效率和预测准确性，并且引入更多模型可进一步提高效率。

    Oct, 2022

  • IDK Cascades：通过避免过分思考加速深度学习

    通过引入基于类别不对称的模型级联框架 (IDK)，充分利用预训练模型集合，实现深度学习推断加速和成本降低，无需重新训练模型。在多个基准测试中验证了该框架的有效性。

    Jun, 2017

  • 学习层叠：置信度校准用于提高层叠推理系统的准确性和计算成本

    该研究论文关注使用置信度评分的级联推理系统，讨论了在推理准确性和计算成本方面提高系统性能的期望置信度评分，并提出了新的置信度校准方法 Learning to Cascade。实验结果表明，Learning to Cascade 在推理准确性和计算成本之间实现了更好的平衡。

    Apr, 2021

  • 结构化预测级联

    本文提出了一种基于‘Structured Prediction Cascade’的新型结构预测方法，通过一系列逐步添加模型的方式，可以有效实现对输出状态空间的过滤和精细调整，并且在优化过程中控制过滤效率与准确率的平衡，通过对模型进行不断优化，显著提升结构预测任务的效率与准确性。

    Aug, 2012

  • 级联感知语言模型的训练

    通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。

    May, 2024

  • 在线级联学习以提高流式推理效率

    通过在线级联学习，我们提出了一种学习级联的方法来应对大规模语言模型推理的高计算成本问题，通过确定适用的模型以及推迟策略，可以将推理成本降低至 90%，并保持与大规模语言模型相当的准确性，凸显其在流处理中的有效性和适应性。

    Feb, 2024

  • TAPAS: 用于架构搜索的无需训练的准确性预测器

    该研究提出了一种新的深度神经网络准确性预测器，可以预测未知输入数据集的分类性能，在不需要任何训练的情况下，在单个 GPU 上每秒超过 100 个网络，大规模架构搜索只需要几分钟。

    Jun, 2018

  • 重访级联集成以提高推理效率

    本文研究了一种简单的自适应推理方案，通过构建级联模型集成（CoE）并根据集成一致性作为数据依赖路由准则，将资源高效的模型逐渐扩展到更表达能力的模型，从而提高准确性并降低推理成本。

    Jul, 2024

  • 预算下的自适应分类预测

    本文提出了一种新的自适应逼近方法，用于测试时的资源受限预测，通过门控和预测模型在训练数据中学习，实现在低成本模型精度较高的区域适应性逼近高准确度模型，并通过代价约束下的经验损失最小化问题来共同训练门控和预测模型，在多个基准数据集上实现了优于现有技术的高准确度。

    May, 2017