置信度级联推迟何时足够？

Jul, 2023

When Does Confidence-Based Cascade Deferral Suffice?

Wittawat Jitkrittum, Neha Gupta, Aditya Krishna Menon, Harikrishna Narasimhan, Ankit Singh Rawat...

TL;DR通过理论分析和实验证明在级联模型中，基于置信度的预测推迟机制可能会在下游模型专业性、标签噪声和训练集与测试集分布偏移等情况下失效，进而提出后处理推迟机制并展示了其在这些情况下能够显著提升性能。

Abstract

cascades are a classical strategy to enable inference cost to vary adaptively across samples, wherein a sequence of classifiers are invoked in turn. A deferral rule determines whether to invoke the next classifie

cascades deferral rule confidence-based deferral downstream models post-hoc deferral mechanisms

发现论文，激发创造

语言模型级联：标记级别的不确定性和更多

通过对 FLAN-T5 模型在一系列自然语言基准测试中进行实验，我们表明，通过学习后续的推迟规则来结合较小模型的嵌入和较大模型的中间层，可以在整体成本与质量的权衡中实现额外的提升。

Apr, 2024

通过推测解码实现更快级联

设计新的推测性串行技术，通过推测执行实现其推迟规则，以获得比串行和推测解码基线更好的成本 - 质量平衡。

May, 2024

学习层叠：置信度校准用于提高层叠推理系统的准确性和计算成本

该研究论文关注使用置信度评分的级联推理系统，讨论了在推理准确性和计算成本方面提高系统性能的期望置信度评分，并提出了新的置信度校准方法 Learning to Cascade。实验结果表明，Learning to Cascade 在推理准确性和计算成本之间实现了更好的平衡。

Apr, 2021

面向多个专家的无偏准确推迟

我们提出了一个框架，在混合机器学习模型和专家预测的预测系统中，同时学习分类器和推迟系统，通过推迟到一个或多个人类专家来确保较低置信度的分类器的准确性和公平性。测试结果表明，我们的学习框架显著提高了最终预测的准确性和公平性，而且在一个实际的内容审核数据集上也优于传统基线。

Feb, 2021

用于评估延迟系统的因果框架

通过因果推断的方法，评估延迟系统对预测准确度的因果影响，区别两种场景，一种是能够接触到人类和机器学习模型的预测结果，另一种是只有人类预测结果可用，通过这种方法在合成和真实数据集上对七种延迟系统进行了实证评估。

May, 2024

多专家延迟回归

学习与多个专家共同推迟预测的框架，关于回归问题的推迟框架和新型代替损失函数的研究。

Mar, 2024

结构化预测级联

本文提出了一种基于‘Structured Prediction Cascade’的新型结构预测方法，通过一系列逐步添加模型的方式，可以有效实现对输出状态空间的过滤和精细调整，并且在优化过程中控制过滤效率与准确率的平衡，通过对模型进行不断优化，显著提升结构预测任务的效率与准确性。

Aug, 2012

模型级联：提高 NLP 系统的效率和准确性

本研究旨在探讨利用容量不同的模型集合进行级联的 Model Cascading 技术，能够提高 NLP 系统的计算效率和预测准确性，并且引入更多模型可进一步提高效率。

Oct, 2022

级联多阶段流程的贝叶斯优化

研究了一种被称为 Cascade Process 的多阶段决策过程优化问题，并将其作为 Bayesian Optimization 的扩展来解决。作者提出了基于可信区间和期望改进的两类收获函数，并探讨了所提出收获函数的理论特性。研究结果表明，该方法的有效性适用于如实际中常见的太阳能电池模拟器测试问题等。

Nov, 2021

级联分类中训练有效节点分类器

提供了一种基于线性不对称分类器的新型提升算法，可用作级联对象检测中的节点分类器，并显示比当前最先进技术的性能更好。

Jan, 2013