Comet：一种用于私有 Transformer 推断的通信高效和性能高的近似方法

May, 2024

Comet：一种用于私有 Transformer 推断的通信高效和性能高的近似方法

$\textit{Comet:}$ A $\underline{Com}$munication-$\underline{e}$fficient and Performant Approxima$\underline{t}$ion for Private Transformer Inference

PDF

Xiangrui Xu, Qiao Zhang, Rui Ning, Chunsheng Xin, Hongyi Wu

TL;DR本文介绍了一种名为 Comet 的新型插件方法，可有效降低通信成本并保持竞争性模型性能，通过 GLUE 基准数据集的 Bert 和 RoBERTa 模型评估表明，通信成本降低了最多 3.9 倍，速度提高了 3.5 倍。

Abstract

The prevalent use of transformer-like models, exemplified by ChatGPT in modern language processing applications, underscores the critical need for enabling private inference essential for many cloud-based service

transformer-like models private inference communication cost approximation method glue benchmark datasets

发现论文，激发创造

LLMs 能理解加密提示：迈向隐私计算友好型变压器

本文展示了将 transformer 模型中的运算和通信重负荷的操作替换成隐私计算友好的近似可以大大降低私有推理成本，并比先前最先进的 Iron（NeurIPS 2022）获得了 5 倍计算加速和 80% 的通信负担减少，同时保持几乎相同的准确性。

May, 2023

COMET: 使用增量图上下文表示生成提交消息

使用基于图的表示和基于 Transformer 模型的方法，通过捕捉代码更改的上下文来生成高质量的 Commit 消息。通过实验证明，Comet 在 BLEU-NORM 和 METEOR 指标上优于现有技术，并与 GPT 模型相比具有竞争力的结果。

Feb, 2024

xCOMET-lite: 在学习的 MT 评估指标中实现效率与质量之间的平衡

利用精简和压缩技术，我们创建了高效的 xCOMET 替代方法，并使用黑盒蒸馏数据收集管道，实验证明，经过量化处理后，xCOMET 可以压缩至原体积的三分之一，且质量不降低；通过蒸馏，我们创建了一个 xCOMET-lite 度量方法，它仅含有 xCOMET-XXL 参数的 2.6%，但保持了 92.1% 的质量，并且在 WMT22 度量挑战数据集上比 COMET-22 和 BLEURT-20 等小规模方法提高了 6.4%，即使用的参数量减少了 50%。

Jun, 2024

xCOMET: 透明的机器翻译评估通过精细化错误检测

本研究介绍了一种名为 xCOMET 的开源学习度量方法，它融合了语句级评估和错误跨度检测能力，并展现出在各种评估类型（语句级、系统级和错误跨度检测）方面的最先进性能，同时突出和分类错误跨度，从而丰富了质量评估。通过稳健性分析和压力测试，我们还表明 xCOMET 在识别局部关键错误和产生幻觉方面有很强的能力。

Oct, 2023

COMET: 机器翻译评估的神经框架

介绍了 COMET，这是一个使用神经网络的多语言机器翻译评估模型，它利用了跨语言预训练语言建模的最新进展，通过同时使用源输入和目标语言的参考翻译来更准确地预测机器翻译的质量，并在 WMT 2019 指标共享任务中获得了新的最优表现，并展示了对高性能系统的鲁棒性。

Sep, 2020

COMET: 用于自动知识图谱构建的常识 Transformer

我们提出了 COMET，一种生成通用语言的丰富多样的常识知识描述的模型，并在 ATOMIC 和 ConceptNet 这两个通用常识图的自动知识库构建方面取得了优秀的结果。

Jun, 2019

无需重新训练的基于 Transformer 的模型块压缩

提出使用 BCT 框架对 transformer 进行分块压缩的方法，以降低其巨大的计算资源和内存开销，通过在多个 GLUE 数据集上评估得出，在大多数任务中，BCT 可以实现不到 0.90％的准确性下降。

Apr, 2023

基于变形金刚 (Block-wise) 的模型比特压缩

该研究提出了一种名为 BBCT 的方法，用于对 Transformer-based models 进行块状位压缩，以减少其对计算的需求和内存的占用。经过在 BERT 上的测试，BBCT 可以在保持精度的前提下显著减少模型的计算和内存占用。

Mar, 2023

高效样本特定编码器扰动

通过对 encoder-decoder 系统的行为进行修改，本研究提出了一个简单且轻量级的方法来控制特定属性的行为。在改进了 COMET 在机器翻译和 Whisper 基础模型在语音识别中的性能的基础上，实验结果显示了持续不断的改进。

May, 2024

探索预训练语言模型的极端参数压缩

探索利用张量分解实现更大的压缩比率来压缩 BERT 模型的研究，取得了可接受的性能损失并显著提高了推理效率，最高压缩至原模型的 1/48，且在 GLUE 基准测试中取得了与原模型相当或略优的表现，该方法相对于蒸馏等现有的压缩方法独立有效。

May, 2022