Apr, 2023

CoT-MoTE: 通过文本专家混合探索上下文掩码自编码器预训练以进行段落检索

PDF
TL;DR该研究探讨了使用 Mixture-of-Textual-Experts 的 Contextual Masked Auto-Encoding 预训练模型进行 Passage retrieval 以提高检索效果。实验结果显示该方法可以更加平衡地判别潜在的嵌入空间，并取得了稳定的检索性能提升。
passage retrievalcontextual masked auto-encodingdual-encodermixture-of-textual-expertslatent embedding spaces
发现论文，激发创造
  • CoT-MAE v2：利用多视角建模的上下文遮盖自编码器进行段落检索

    通过多视图模型和上下文遮掩自编码器的多视图预训练方法，该研究旨在提供更好的上下文表示预训练，并在大规模文本检索基准和领域外零 - shot 基准测试中表现出有效性和鲁棒性。

    Apr, 2023

  • 基于上下文遮盖的自编码器用于密集型段落检索

    本研究提出 CoT-MAE 方法，通过自监督和上下文监督的遮蔽自编码学习将句子语义压缩成密集向量，进而在大规模的检索基准数据集上实现了相比强基线更高效的检索表现。

    Aug, 2022

  • 放弃您的解码器：使用词袋预测进行密集段落检索的预训练

    通过使用增强解码的遮蔽自动编码器预训练，显著提高了稠密表示中输入标记的术语覆盖，从而实现了在大规模检索基准上的最先进的检索性能，无需任何额外参数，相比于使用增强解码的标准遮蔽自动编码器预训练速度提高了 67%。

    Jan, 2024

  • RetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型

    本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，实现所有上下文化嵌入的紧凑汇总，生成最终的语义表示。

    May, 2023

  • 通过预训练对比度 EEG-Text 掩蔽自编码器的可转移表示增强 EEG 到文本解码

    提出了一种新颖的 Contrastive EEG-Text Masked Autoencoder 模型，并借助预训练模块以及 EEG 流实现了 EEG 到文本的解码，实验结果表明在文本激发的 EEG 数据库上，该模型在 ROUGE-1 F1 和 BLEU-4 得分上分别超过现有技术 8.34％和 32.21％，这显示了该框架在大脑计算界面应用领域的潜力。

    Feb, 2024

  • 基于检索的对话系统的上下文蒙版自编码器

    本研究提出了 Dial-MAE 技术，它是一种针对对话回答选择的后期训练技术，使用了对话语境掩码自动编码器和不对称编码器 - 解码器架构来更好地压缩对话语义，并在两个常见的基准测试中取得了最先进的性能。

    Jun, 2023

  • RetroMAE v2：用于预训练检索定向语言模型的双工掩蔽自编码器

    本文介绍了一种新的预训练方法 ——DupMAE，该方法可同时提高 [CLS] 和普通 token 的语境嵌入的语义表示能力，取得了在 MS MARCO 和 BEIR 基准测试中显著的改进效果。

    Nov, 2022

  • 具有挑战性的解码器有助于稠密通道检索的掩码自编码器预训练

    该研究提出了一种基于点互信息的令牌重要性感知遮蔽策略，以加强解码器的挑战，进而构建编码器的表示能力，并在大规模监督通道检索数据集和领域外零 - shot 检索基准上验证了其有效性和鲁棒性。

    May, 2023

  • MASTER: 多任务预训练的瓶颈掩蔽自编码器是更好的密集检索器

    本文提出了一种名为 MASTER 的多任务预训练模型，以在压缩语义信息的同时，统一和整合多种具有不同学习目标的预训练任务，实现了语义信息与关系在稠密向量中的集成，该方法在多个大规模的文本检索数据集上都表现出优异的性能。

    Dec, 2022

  • CAPOT: 使用后训练对比对齐创建鲁棒性密集查询编码器

    本文介绍一种名为 Contrastive Alignment POst Training (CAPOT) 的高效微调方法，可在不需要索引重建，训练集优化或更改的情况下提高模型的稳健性。

    Apr, 2023