BriefGPT.xyz
Aug, 2022
giMLPs: MLP中的抑制门机制
giMLPs: Gate with Inhibition Mechanism in MLPs
HTML
PDF
Cheng Kang, Jindich Prokop, Lei Tong, Huiyu Zhou, Yong Hu...
TL;DR
提出一种新的模型结构Gate with Inhibition MLP (giMLP),利用这种方法可以通过两种新技术显著改善BERT、Roberta和DeBERTaV3模型的性能,同时可提高精度,实验表明提出的方法可以在不需额外预训练的情况下,显著改善自然语言下游任务的性能。
Abstract
This paper presents a new model architecture, gate with
inhibition
MLP (
gimlp
).The gate with
inhibition
on
→