glue | BriefGPT - AI 论文速递

关键词glue

搜索结果 - 8

ACL用于大型预训练语言模型参数高效微调的神经架构搜索
探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。
PDFa year ago
基于变形金刚 (Block-wise) 的模型比特压缩
该研究提出了一种名为 BBCT 的方法，用于对 Transformer-based models 进行块状位压缩，以减少其对计算的需求和内存的占用。经过在 BERT 上的测试，BBCT 可以在保持精度的前提下显著减少模型的计算和内存占用。
PDFa year ago
稀疏混合器：结合 MoE 和混合来构建更高效的 BERT
本文介绍了 Sparse Mixer 模型，它结合了稀疏门控混合专家模型和线性混合变换，并在 GLUE 和 SuperGLUE 数据集上略优于 BERT 模型，同时训练时间快 65%，推理速度快 61%。该模型可以克服 MoE 模型的许多延
PDF2 years ago
EMNLP简单却令人沮丧的预训练替代方法：掩码语言建模
本文研究了五种基于令牌级分类任务的简单预训练目标作为 MLM 替代品，证明这些方法可以达到与使用 BERT-BASE 结构的 MLM 相当或更好的性能，并且使用较小的模型进行验证。
PDF3 years ago
ACL以敏感度为序列分类任务的复杂度测量
引入了一个理论框架来理解和预测序列分类任务的复杂性，使用布尔函数灵敏度理论的新扩展。在一些 NLP 任务中使用此框架，发现具有挑战性的任务比简单文本分类任务具有更高的敏感度，并且敏感度预测了低敏度解码器的表现。此外，表明高性能的预训练文本表
PDF3 years ago
ACL面向自然语言理解的定向对抗训练
本研究提出了一种简单而有效的有目标对抗训练算法（TAT），以改善自然语言理解的对抗训练，其关键思想是内省当前错误，并优先处理模型错误最多的对抗训练步骤。实验证明，TAT 可以显著提高 GLUE 的准确性，并在 XNLI 上实现了新的零 -
PDF3 years ago
jiant: 通用文本理解模型研究的软件工具包
jiant 是一个开源工具包，可用于对英语 NLU 任务进行多任务学习和迁移学习实验，包含 50 多个 GLUE 和 SuperGLUE 基准任务，并实现了一系列探测、迁移学习和多任务训练实验。
PDF4 years ago
ICLRMixout：一种有效的正则化方法，用于微调大规模预训练语言模型
本文提出了一种新的正则化技术，名为 “mixout”，并在预训练语言模型上的下游任务中展示了其稳定性和准确性的提高。
PDF5 years ago