EMNLPOct, 2022

模型级联：提高 NLP 系统的效率和准确性

PDF
TL;DR本研究旨在探讨利用容量不同的模型集合进行级联的 Model Cascading 技术，能够提高 NLP 系统的计算效率和预测准确性，并且引入更多模型可进一步提高效率。
model cascadingcomputational efficiencyprediction accuracynlp systemscollection of models
发现论文，激发创造
  • 级联感知语言模型的训练

    通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。

    May, 2024

  • $C^3$: 用于推理高效的跨语言自然语言理解的置信度校准模型级联

    本研究引入了一种置信度校准的模型级联方法（$C^3$），通过在级联推断之前进行校准，提高了级联的准确性，实验证明 $C^3$ 明显优于所有现有的基线模型。

    Feb, 2024

  • 级联预测模型的近似算法

    本文介绍了一种近似算法，将一组预训练模型作为输入，并生成一个具有类似准确度但平均成本较低的级联模型，应用于最先进的 ImageNet 分类模型，可将浮点乘法降低达 2 倍，并将平均情况下的内存 I / O 降低达 6 倍。自动生成的级联呈现出直观的特性，如对易于处理的图像使用较低分辨率输入，并在使用计算成本较低的模型时需要更高的预测置信度。

    Feb, 2018

  • 语言模型级联：标记级别的不确定性和更多

    通过对 FLAN-T5 模型在一系列自然语言基准测试中进行实验，我们表明，通过学习后续的推迟规则来结合较小模型的嵌入和较大模型的中间层，可以在整体成本与质量的权衡中实现额外的提升。

    Apr, 2024

  • 级联深度分类器的高效摊销推理

    该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

    Oct, 2017

  • IDK Cascades：通过避免过分思考加速深度学习

    通过引入基于类别不对称的模型级联框架 (IDK)，充分利用预训练模型集合，实现深度学习推断加速和成本降低，无需重新训练模型。在多个基准测试中验证了该框架的有效性。

    Jun, 2017

  • 重访级联集成以提高推理效率

    本文研究了一种简单的自适应推理方案，通过构建级联模型集成（CoE）并根据集成一致性作为数据依赖路由准则，将资源高效的模型逐渐扩展到更表达能力的模型，从而提高准确性并降低推理成本。

    Jul, 2024

  • 神经级联多提及学习用于阅读理解

    本文提出了一种以级联模型组合轻量级的前馈网络为基础构建的答案提取算法，可以从文本中获取多次对同一问题的提及与信息聚合，并在 TrivaQA 数据集上表现优异。

    Nov, 2017

  • 在线级联学习以提高流式推理效率

    通过在线级联学习，我们提出了一种学习级联的方法来应对大规模语言模型推理的高计算成本问题，通过确定适用的模型以及推迟策略，可以将推理成本降低至 90%，并保持与大规模语言模型相当的准确性，凸显其在流处理中的有效性和适应性。

    Feb, 2024

  • 级联变压器：用于高效答案句选择的应用

    本文介绍了级联变压器模型的简单而有效技术，其中通过一系列排名器来修剪批处理中的一部分候选项，从而在推理时显着提高吞吐量，与现有模型相比，我们的方法在不影响准确性的情况下将计算量减少了 37％，并在两个英文问答数据集上进行了评估。

    May, 2020