Jan, 2024
基于 ReRAM 的 Transformer 语言模型的零空间成本容错技术
Zero-Space Cost Fault Tolerance for Transformer-based Language Models on ReRAM
Bingbing Li, Geng Yuan, Zigeng Wang, Shaoyi Huang, Hongwu Peng...
TL;DR本文提出了一种零空间成本的容错机制,通过可微结构修剪、权重复制和投票以及嵌入最显著位(MSBs)到模型权重中,有效减少了硬件故障对模型预测的影响,并通过在 GLUE 基准的九个任务上使用 BERT 模型进行实验验证了该方法的有效性。