CAPOT: 使用后训练对比对齐创建鲁棒性密集查询编码器

Apr, 2023

CAPOT: 使用后训练对比对齐创建鲁棒性密集查询编码器

CAPOT: Creating Robust Dense Query Encoders using Post Training Contrastive Alignment

Daniel Campos, ChengXiang Zhai, Alessandro Magnani

TL;DR本文介绍一种名为 Contrastive Alignment POst Training (CAPOT) 的高效微调方法，可在不需要索引重建，训练集优化或更改的情况下提高模型的稳健性。

Abstract

The success of contextual word representations and advances in neural information retrieval have made dense vector-based retrieval a standard approach for passage and document ranking. While effective and efficie

contextual word representations neural information retrieval dense vector-based retrieval data augmentation contrastive alignment post training

发现论文，激发创造

快速稠密检索器消耗 KALE：针对非对称双编码器的嵌入后 Kullback Leibler 对齐

本文讨论了引入结构压缩和编码器大小不对称性来改善基于语言模型的密集检索系统的推理延迟问题，并引入了 Kullback Leibler 嵌入对齐（KALE）方法以提高密集检索方法的推理效率。使用 KALE 和不对称训练，我们可以生成优于 DistilBERT 且推理速度快 3 倍的模型。

Mar, 2023

CoT-MoTE: 通过文本专家混合探索上下文掩码自编码器预训练以进行段落检索

该研究探讨了使用 Mixture-of-Textual-Experts 的 Contextual Masked Auto-Encoding 预训练模型进行 Passage retrieval 以提高检索效果。实验结果显示该方法可以更加平衡地判别潜在的嵌入空间，并取得了稳定的检索性能提升。

Apr, 2023

CAPT: 对比性预训练学习去噪序列表示

提出了 ContrAstive Pre-Training (CAPT) 来学习抗干扰的序列表示，这种方法通过无监督的实例训练信号来鼓励原始序列的表示和其被污染版本的表示之间的一致性，从而既缓解了先训练的噪声引起的误差，也提高了模型对输入全局语义的捕获能力。

Oct, 2020

通过嵌入对齐的查询编码器蒸馏是提升密集检索器在线效率的强大基准方法

本文中，我们提出了一个简单的基线方法，使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器，通过无监督的蒸馏和适当的学生初始化，仍然可以在 BEIR 基准测试中保持 92.5％的 DE 性能。我们希望我们的研究可以鼓励社区重新评估方法复杂性和性能提升之间的权衡。

Jun, 2023

回归基础：提升密集编码器领域外检索的简单方法

通过改进训练过程，使用参数高效的方法和适当的负样本，可以提高密集编码器在训练时的泛化能力，从而在单一数据集上训练时实现有效的泛化。

Nov, 2023

RocketQA: 开放领域问答中基于密集文本检索的优化训练方法

本文提出了一种优化的训练方法 RocketQA 来改进密集问答检索，通过跨批次负样例、去噪硬负样例和数据增强等三种策略的实验，证明该方法在 MSMARCO 和 Natural Questions 上都显著优于之前的最先进模型，并提高了 end-to-end QA 的性能。

Oct, 2020

面向语料库的无监督语言模型预训练用于密集文本检索

本文提出了 coCondenser 方法，将 Condenser 预训练架构与无监督语料级对比损失相结合，减轻了密集检索器对大规模训练数据和数据工程的依赖，并通过实验表明，该方法具有与 RocketQA 相当的性能。

Aug, 2021

通过改进内容查询和相似查询聚合提升 DETR 变体性能

本文介绍了一种自适应内容查询模块（SACQ），它利用变换器编码器的特征通过自注意力池化生成内容查询，解决了传统零初始化或可学习嵌入的内容查询缺乏信息导致性能不佳的问题。为了应对增强的集中力对匈牙利匹配训练过程的挑战，我们提出了查询聚合策略，合并来自不同查询的类似预测候选项，从而简化优化过程。在 COCO 数据集上的广泛实验证明了我们所提方法的有效性，在多种配置下对六种 DETR 变体均取得了超过 1.0 AP 的平均改进。

May, 2024

文本检索中的稀疏、密集和注意力表示

该研究探讨了双编码器的检索能力，并将其与稀疏词袋模型和注意力神经网络进行了比较。研究发现固定长度编码的能力存在限制，具体表现为编码维数，金标和排名较低文件之间的边际，以及文档长度。在此基础上，该研究提出了一种结合了双编码器的高效性和注意力结构的表达能力的简单神经模型，并探索了稀疏 - 密集混合模型以提高检索精度，这些模型在大规模检索中胜过强有力的替代方案。

May, 2020

数据课程上的对比后训练大型语言模型

通过多种模型（例如 InstructGPT、ChatGPT 和 GPT-4）自动构建偏好对比，并运用对比式后训练方法，我们探索了对大型语言模型（LLMs）进行人类偏好调整的重要步骤。我们仔细比较了 SLiC 和 DPO 的对比技术与 SFT 基准，并发现即使在继续进行 SFT 饱和后，DPO 仍然提供了一个阶跃式的改进。我们还探索了一种数据课程学习方案用于对比式后训练，该方案从 “更简单” 的对比开始，并逐渐转向 “更困难” 的对比，进一步提高了对齐性。最后，我们扩大了实验规模，使用更多数据和像 Orca 这样的大型模型进行训练。引人注目的是，对比式后训练进一步提高了 Orca 的性能，这已是一个与 GPT-4 输出相调谐的最先进的指导学习模型，其超过了 ChatGPT 的性能。

Oct, 2023