级联变压器：用于高效答案句选择的应用

ACLMay, 2020

级联变压器：用于高效答案句选择的应用

The Cascade Transformer: an Application for Efficient Answer Sentence Selection

Luca Soldaini, Alessandro Moschitti

TL;DR本文介绍了级联变压器模型的简单而有效技术，其中通过一系列排名器来修剪批处理中的一部分候选项，从而在推理时显着提高吞吐量，与现有模型相比，我们的方法在不影响准确性的情况下将计算量减少了 37％，并在两个英文问答数据集上进行了评估。

Abstract

Large transformer-based language models have been shown to be very effective in many classification tasks. However, their computational complexity prevents their use in applications requiring the classification of a large set of candidates. While previous works have investigated approaches to reduce model size, relatively little attention has been paid to te

transformer-based models cascade transformer rankers batch throughput english question answering

发现论文，激发创造

TangoBERT：使用级联架构以降低推理成本

TangoBERT 是一种分层式的模型架构，能够通过在推理时间内降低计算负载来实现高速推断，并利用常规层级变压器模型的批量大小优化来增加相对推断成本的降低。

Apr, 2022

级联感知语言模型的训练

通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。

May, 2024

集成变压器用于高效准确的排名任务：问答系统应用

本文提出了一种名为 CERBERUS 的多头学生网络，并使用传统的蒸馏技术对多个大型转换器进行训练，以在不显着增加模型复杂性的情况下提高 AS2 任务的准确性。通过使用该方法，我们的模型在三个英文 AS2 数据集上表现良好，与运行速度较慢且拥有 2.7 倍参数的大型 AS2 模型相媲美。

Jan, 2022

模型级联：提高 NLP 系统的效率和准确性

本研究旨在探讨利用容量不同的模型集合进行级联的 Model Cascading 技术，能够提高 NLP 系统的计算效率和预测准确性，并且引入更多模型可进一步提高效率。

Oct, 2022

开放领域问答中分离式 Transformer 的可伸缩推理

本研究提出一种将 transformer MRC 模型解耦为输入组件和交叉组件的方法，以减少计算成本和延迟，通过知识蒸馏和学习表示压缩层来保持解耦 transformer 的准确性，并可使在线 MRC 的计算成本和延迟降低 30％-40％，与标准 transformer 相比，只有 1.2 个 F1 分数下降。

Aug, 2021

文档内级联：学习选择用于神经网络文档排序的片段

采用基于知识蒸馏的 ESM 模型剪枝候选文档以减少计算量，从而降低了基于 ETM 模型的查询延迟并提高了检索效果。

May, 2021

句向量排序模型的极端压缩：在边缘设备上实现更快的推理、更长的电池续航和更少的存储

本篇研究提出了在两种不同类型的 ranker 模型上扩展句子转换蒸馏过程的两种方法，包括生成最优尺寸的词汇表和在蒸馏之前对教师的嵌入维数进行降维。结果表明，采用这些扩展技术的学生模型具有极大的压缩程度，而且在测试数据集上表现出高度的有效性和能用性。

Jun, 2022

紧密集成的级联语音翻译端到端训练

本文提出了一种端到端的可训练语音翻译模型，通过优化所有 ASR 和 MT 模型的参数而避免级联模型中的误差传播，并且通过使用人工神经网络实现 backpropagation 传递误差以实现同时提供转录和翻译，对于四个不同数据场景的实验表明，该模型在 BLEU 和 TER 方面均优于传统级联模型和直接模型。

Nov, 2020

基于 Transformer 模型的法语问答任务的可用性研究

研究通过对 Transformer-based architectures 的改进和优化，尤其是在数据增强、超参数优化和跨语言转移方面，提高了法语低资源情况下的问答表现，并引入了一种紧凑的法语 FrALBERT 模型。

Jul, 2022

CascadeBERT：通过校准完整模型级联加速预训练语言模型推断

本研究分析了动态提前退出的工作机制，并发现其在高速比下面临性能瓶颈。为了解决这个问题，提出了一个新的框架 CascadeBERT，可以在重要性和正确性方面提供综合的表示。经过实验证明，与现有的动态提前退出方法相比，CascadeBERT 在六个分类任务上的性能提升达到了 15％，可实现 4 倍加速。

Dec, 2020