bert pre-training | BriefGPT

关键词bert pre-training

搜索结果 - 4

Mixed-Phoneme BERT: 用混合音素和超音素表示增强文本到语音的 BERT 模型
本文提出了使用混合音素和超音素表示来增强 BERT 模型的学习能力的 MixedPhoneme BERT，该模型将相邻的音素合并为超音素，并将音素序列和超音素序列组合作为模型输入，从而在文本到语音合成中获得了显着的性能提升并且速度快 3 倍
PDF2 years ago
AAAIPeCo: 基于感知编码本的视觉 Transformer BERT 预训练
本文探讨了 BERT 预训练视觉变换器的更好预测目标，提出了学习感知预测目标的想法，并在 dVAE 训练过程中实现感知相似性的强制，使用自监督变换模型进行深度特征提取，最终得到学习到更好的视觉 token，取得了在多个任务上优于 BEiT
PDF3 years ago
ACL渐进式 BERT 训练中的 Transformer 增长
本文旨在通过对 Transformer 增长的探索来指导渐进式训练，发现复合缩放方法可以平衡模型的深度、宽度和输入的长度，并通过比较实验探索每个维度的替代增长操作，最终使 BERT 的预训练加快 73.6％（基本模型）和 82.2％（大模型
PDF4 years ago
ACL从文本和实体的图形表示中生成逻辑形式
本文提出了一种使用图神经网络和解码器复制机制相结合的方法来生成有实体的逻辑表达式，该方法不需要预训练即可在多个任务上达到与当前最先进方法竞争的效果，并且当与 BERT 预训练结合使用时，优于现有方法。
PDF5 years ago