bert pretraining | BriefGPT

关键词bert pretraining

搜索结果 - 7

通过梯度信噪比（GSNR）加速大批量训练
基于梯度信噪比的方差缩减梯度下降技术对大批量任务进行了快速训练动态的理论分析和泛化分析，证明了其加速训练、缩小泛化差距和提高最终精度的效果。
PDF9 months ago
ICCV通过测试时频域提示来提高遮蔽自动编码器的对抗鲁棒性
本文研究了配备 BERT 预训练（例如 BEiT 和 MAE）的视觉变换器的敌对鲁棒性。令人惊讶的是，MAE 的敌对鲁棒性明显较差。我们的实证分析揭示了 BERT 预训练的敌对鲁棒性与重构目标的高相关性，即对屏蔽图像补丁的原始像素进行预测会
PDF10 months ago
ACL针对鉴别性语言模型预训练的自进化学习
本文提出了 Self-Evolution 学习方法，利用自适应 Token 掩蔽和标签平滑正则化技术，全面且明智地利用数据中的知识，通过在 10 项任务中进行实验，证明了该方法在各种 PLMs 上带来了相应且显著的提升，可以提高语言知识的学
PDFa year ago
ExtremeBERT：定制 BERT 预训练加速的工具包
本文介绍了 ExtremeBERT，一款用于加速和定制 BERT 预训练的工具包，旨在为研究界和工业界提供易于使用的 BERT 预训练工具包，以便使用有限资源在自定义数据集上训练流行语言模型。实验表明，与原始 BERT 论文相比，使用我们的
PDF2 years ago
CVPRBEVT: 视频变形器的 BERT 预训练
本研究探讨了视频变压器的 BERT 预训练。我们介绍 BEVT，将视频表示学习分解为空间表示学习和时间动态学习。通过在图像数据上进行掩蔽图像建模（masked image modeling）和在视频数据上同时进行掩蔽图像建模和掩蔽视频建模
PDF3 years ago
双向编码器句法结构提取预训练
本文研究了文本表示学习器在句法表现上的优越性和在自然语言句法中的应用，提出了将句法模型的预测注入 BERT 的知识蒸馏策略，并表明在一系列结构预测任务中，这种方法能够显著地减少相对误差。
PDF4 years ago
自适应方法对注意力模型有什么好处？
本研究表明，一种重尾梯度噪声是 SGD 性能不佳的原因之一，而剪辑梯度可应用于 BERT 预训练和微调任务中，以提高性能。
PDF5 years ago