基于上下文遮盖的自编码器用于密集型段落检索

AAAIAug, 2022

基于上下文遮盖的自编码器用于密集型段落检索

ConTextual Masked Auto-Encoder for Dense Passage Retrieval

Xing Wu, Guangyuan Ma, Meng Lin, Zijia Lin, Zhongyuan Wang...

TL;DR本研究提出 CoT-MAE 方法，通过自监督和上下文监督的遮蔽自编码学习将句子语义压缩成密集向量，进而在大规模的检索基准数据集上实现了相比强基线更高效的检索表现。

Abstract

dense passage retrieval aims to retrieve the relevant passages of a query from a large corpus based on dense representations (i.e., vectors) of the query and the passages. Recent studies have explored improving pre-trained language models to boost dense retrieval performance. This pape

dense passage retrieval pre-trained language models cot-mae masked auto-encoding semantical correlation

发现论文，激发创造

CoT-MAE v2：利用多视角建模的上下文遮盖自编码器进行段落检索

通过多视图模型和上下文遮掩自编码器的多视图预训练方法，该研究旨在提供更好的上下文表示预训练，并在大规模文本检索基准和领域外零 - shot 基准测试中表现出有效性和鲁棒性。

Apr, 2023

CoT-MoTE: 通过文本专家混合探索上下文掩码自编码器预训练以进行段落检索

该研究探讨了使用 Mixture-of-Textual-Experts 的 Contextual Masked Auto-Encoding 预训练模型进行 Passage retrieval 以提高检索效果。实验结果显示该方法可以更加平衡地判别潜在的嵌入空间，并取得了稳定的检索性能提升。

Apr, 2023

基于检索的对话系统的上下文蒙版自编码器

本研究提出了 Dial-MAE 技术，它是一种针对对话回答选择的后期训练技术，使用了对话语境掩码自动编码器和不对称编码器 - 解码器架构来更好地压缩对话语义，并在两个常见的基准测试中取得了最先进的性能。

Jun, 2023

具有挑战性的解码器有助于稠密通道检索的掩码自编码器预训练

该研究提出了一种基于点互信息的令牌重要性感知遮蔽策略，以加强解码器的挑战，进而构建编码器的表示能力，并在大规模监督通道检索数据集和领域外零 - shot 检索基准上验证了其有效性和鲁棒性。

May, 2023

放弃您的解码器：使用词袋预测进行密集段落检索的预训练

通过使用增强解码的遮蔽自动编码器预训练，显著提高了稠密表示中输入标记的术语覆盖，从而实现了在大规模检索基准上的最先进的检索性能，无需任何额外参数，相比于使用增强解码的标准遮蔽自动编码器预训练速度提高了 67%。

Jan, 2024

RetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型

本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，实现所有上下文化嵌入的紧凑汇总，生成最终的语义表示。

May, 2023

RetroMAE v2：用于预训练检索定向语言模型的双工掩蔽自编码器

本文介绍了一种新的预训练方法 ——DupMAE，该方法可同时提高 [CLS] 和普通 token 的语境嵌入的语义表示能力，取得了在 MS MARCO 和 BEIR 基准测试中显著的改进效果。

Nov, 2022

通过遮蔽自编码器预训练针对检索的语言模型 RetroMAE

本研究提出一种新的基于 Masked Auto-Encoder 的检索导向的预训练模型 RetroMAE，通过三个关键设计，包括污染输入、不对称模型结构和不对称的遮盖比率，取得了令人满意的实验结果，大幅提高了在 BEIR 和 MS MARCO 等检索基准测试中的性能表现。

May, 2022

MASTER: 多任务预训练的瓶颈掩蔽自编码器是更好的密集检索器

本文提出了一种名为 MASTER 的多任务预训练模型，以在压缩语义信息的同时，统一和整合多种具有不同学习目标的预训练任务，实现了语义信息与关系在稠密向量中的集成，该方法在多个大规模的文本检索数据集上都表现出优异的性能。

Dec, 2022

掩码自编码器作为预训练句子表示的统一学习者

该研究实现了扩展 MAE 预训练策略 RetroMAE 的统一框架以支持多样化的句子表示任务，并证明其在零样本检索和其他下游任务中的有效性，为未来的句子表示预训练的设计提供了实证建议。

Jul, 2022