Nov, 2022
RetroMAE v2:用于预训练检索定向语言模型的双工掩蔽自编码器
RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models
Shitao Xiao, Zheng Liu
TL;DR本文介绍了一种新的预训练方法 ——DupMAE,该方法可同时提高 [CLS] 和普通 token 的语境嵌入的语义表示能力,取得了在 MS MARCO 和 BEIR 基准测试中显著的改进效果。