May, 2023

具有挑战性的解码器有助于稠密通道检索的掩码自编码器预训练

PDF
TL;DR该研究提出了一种基于点互信息的令牌重要性感知遮蔽策略，以加强解码器的挑战，进而构建编码器的表示能力，并在大规模监督通道检索数据集和领域外零 - shot 检索基准上验证了其有效性和鲁棒性。
dense passage retrievalpre-trained language modelsmasked auto-encoderencoder representation abilitytoken importance aware masking
发现论文，激发创造
  • 放弃您的解码器：使用词袋预测进行密集段落检索的预训练

    通过使用增强解码的遮蔽自动编码器预训练，显著提高了稠密表示中输入标记的术语覆盖，从而实现了在大规模检索基准上的最先进的检索性能，无需任何额外参数，相比于使用增强解码的标准遮蔽自动编码器预训练速度提高了 67%。

    Jan, 2024

  • 通过遮蔽自编码器预训练针对检索的语言模型 RetroMAE

    本研究提出一种新的基于 Masked Auto-Encoder 的检索导向的预训练模型 RetroMAE，通过三个关键设计，包括污染输入、不对称模型结构和不对称的遮盖比率，取得了令人满意的实验结果，大幅提高了在 BEIR 和 MS MARCO 等检索基准测试中的性能表现。

    May, 2022

  • 基于上下文遮盖的自编码器用于密集型段落检索

    本研究提出 CoT-MAE 方法，通过自监督和上下文监督的遮蔽自编码学习将句子语义压缩成密集向量，进而在大规模的检索基准数据集上实现了相比强基线更高效的检索表现。

    Aug, 2022

  • RetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型

    本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，实现所有上下文化嵌入的紧凑汇总，生成最终的语义表示。

    May, 2023

  • RetroMAE v2：用于预训练检索定向语言模型的双工掩蔽自编码器

    本文介绍了一种新的预训练方法 ——DupMAE，该方法可同时提高 [CLS] 和普通 token 的语境嵌入的语义表示能力，取得了在 MS MARCO 和 BEIR 基准测试中显著的改进效果。

    Nov, 2022

  • 从局部对比角度理解掩码自编码器

    通过对编码器 - 解码器架构以及局部对比学习的分析，本文探索了 Masked AutoEncoder 的机制，并将其改进为一种局部区域级对比学习形式，为改进自监督学习框架提供了更全面和灵活的解释。

    Oct, 2023

  • 基于检索的对话系统的上下文蒙版自编码器

    本研究提出了 Dial-MAE 技术，它是一种针对对话回答选择的后期训练技术，使用了对话语境掩码自动编码器和不对称编码器 - 解码器架构来更好地压缩对话语义，并在两个常见的基准测试中取得了最先进的性能。

    Jun, 2023

  • CoT-MAE v2：利用多视角建模的上下文遮盖自编码器进行段落检索

    通过多视图模型和上下文遮掩自编码器的多视图预训练方法，该研究旨在提供更好的上下文表示预训练，并在大规模文本检索基准和领域外零 - shot 基准测试中表现出有效性和鲁棒性。

    Apr, 2023

  • 基于注意力引导的蒙版自动编码器用于学习图像表示

    利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有更好的潜在表示能力，同时使 ViTs 对不同背景更加稳健。

    Feb, 2024

  • MASTER: 多任务预训练的瓶颈掩蔽自编码器是更好的密集检索器

    本文提出了一种名为 MASTER 的多任务预训练模型，以在压缩语义信息的同时，统一和整合多种具有不同学习目标的预训练任务，实现了语义信息与关系在稠密向量中的集成，该方法在多个大规模的文本检索数据集上都表现出优异的性能。

    Dec, 2022