语言模型级联：标记级别的不确定性和更多

Apr, 2024

语言模型级联：标记级别的不确定性和更多

Language Model Cascades: Token-level uncertainty and beyond

Neha Gupta, Harikrishna Narasimhan, Wittawat Jitkrittum, Ankit Singh Rawat, Aditya Krishna Menon...

TL;DR通过对 FLAN-T5 模型在一系列自然语言基准测试中进行实验，我们表明，通过学习后续的推迟规则来结合较小模型的嵌入和较大模型的中间层，可以在整体成本与质量的权衡中实现额外的提升。

Abstract

Recent advances in language models (LMs) have led to significant improvements in quality on complex NLP tasks, but at the expense of increased inference costs. Cascading offers a simple strategy to achieve more favorable cost-quality tradeoffs: here, a small model is invoked for most "

language models lm cascades deferral rules token-level uncertainty cost-quality tradeoff

发现论文，激发创造

置信度级联推迟何时足够？

通过理论分析和实验证明在级联模型中，基于置信度的预测推迟机制可能会在下游模型专业性、标签噪声和训练集与测试集分布偏移等情况下失效，进而提出后处理推迟机制并展示了其在这些情况下能够显著提升性能。

Jul, 2023

级联感知语言模型的训练

通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。

May, 2024

通过推测解码实现更快级联

设计新的推测性串行技术，通过推测执行实现其推迟规则，以获得比串行和推测解码基线更好的成本 - 质量平衡。

May, 2024

基于不确定性的两层选择对大型语言模型的优化调用

通过使用仅基于小型 LLM 生成的不确定性作为决策准则，我们提出了一种简化的解决方案，该解决方案在 25 个实验设置中优于现有方法，实现了成本和性能的最佳平衡。

May, 2024

语言模型级联

通过利用概率编程技术以及组合多个模型，并在测试中反复交互，我们提出了一种基于语言模型层级结构的模型组合方法，以实现对复杂数据类型（如字符串）的快速学习和推理。

Jul, 2022

$C^3$: 用于推理高效的跨语言自然语言理解的置信度校准模型级联

本研究引入了一种置信度校准的模型级联方法（$C^3$），通过在级联推断之前进行校准，提高了级联的准确性，实验证明 $C^3$ 明显优于所有现有的基线模型。

Feb, 2024

在线级联学习以提高流式推理效率

通过在线级联学习，我们提出了一种学习级联的方法来应对大规模语言模型推理的高计算成本问题，通过确定适用的模型以及推迟策略，可以将推理成本降低至 90%，并保持与大规模语言模型相当的准确性，凸显其在流处理中的有效性和适应性。

Feb, 2024

模型级联：提高 NLP 系统的效率和准确性

本研究旨在探讨利用容量不同的模型集合进行级联的 Model Cascading 技术，能够提高 NLP 系统的计算效率和预测准确性，并且引入更多模型可进一步提高效率。

Oct, 2022

LLM 间在不泄露私人信息的情况下是否可能相互协助？

本研究通过引入隐私保护技术，展示了在具有敏感数据访问权限的情况下，将级联系统应用于机器学习模型中的可行性，并提出了减少信息泄露风险的两种隐私度量方法。同时，通过运用社交学习范式，展示了在多个数据集上，相较于非级联基线，我们的方法不仅最小化了隐私损失，还提高了任务性能。

Apr, 2024

审慎行事：大型语言模型下的不确定性测量的探索性研究

从不确定性的角度进行的风险评估研究表明不确定性估计方法可用于揭示大型语言模型的预测风险，并可能发现由该模型生成的有错误的程序。

Jul, 2023