May, 2022

ERNIE-Search: 通过自我即时蒸馏将交叉编码器与双编码器相结合，实现密集型段落检索

PDF
TL;DR本文提出了一种新颖的蒸馏方法，将自然语言处理模型中的交互信息更好地应用于开放领域的问答问题，并通过级联蒸馏方法优化成绩，从而在 Open-Domain QA 基准上取得了优于强基线模型的最优结果。
neural retrieverspre-trained language modelsopen-domain question answeringknowledge distillationdual-encoders
发现论文，激发创造
  • Translate-Distill：通过翻译和蒸馏学习跨语言稠密检索

    该研究提出了一种名为 Translate-Distill 的方法，它利用交叉编码器或 CLIR 交叉编码器的知识蒸馏来训练双编码器 CLIR 学生模型。

    Jan, 2024

  • 通过嵌入对齐的查询编码器蒸馏是提升密集检索器在线效率的强大基准方法

    本文中，我们提出了一个简单的基线方法，使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器，通过无监督的蒸馏和适当的学生初始化，仍然可以在 BEIR 基准测试中保持 92.5％的 DE 性能。我们希望我们的研究可以鼓励社区重新评估方法复杂性和性能提升之间的权衡。

    Jun, 2023

  • 视觉语言理解的蒸馏双编码模型

    提出了一种跨模态关注蒸馏框架来训练双编码器模型，以用于视觉语言理解任务，如视觉推理和视觉问答，并证明使用这种框架可以在保持比融合编码器模型更快的推理速度的同时实现竞争性的性能表现。

    Dec, 2021

  • LoopITR：结合双编码器和交叉编码器架构用于图文检索

    本文提出 LoopITR 方法，将双编码器和交叉编码器结合到同一网络中进行联合学习，并且利用十分精细的交互来提高其表现，在 Flickr30K 和 COCO 数据集上实现了在同等数据量时的最先进的双编码器成绩。

    Mar, 2022

  • 基于知识蒸馏的快速检索式聊天机器人

    本文研究了响应检索中的跨编码器架构及其应用领域，并在此基础上提出了一种新的跨编码器架构，将其应用于双编码器模型中可以大幅提升其检索性能，并在三个响应检索数据集上进行了详细分析。

    Apr, 2020

  • 通过自己鉴别的编码器加速对比性语言 - 图像预训练

    利用 ECLIPSE 框架，在统一的文本嵌入空间内解决图像与文本不匹配问题，并在加速推理速度的同时，优于其他方法的性能表现。

    Dec, 2023

  • Trans-Encoder: 通过自我和相互蒸馏进行无监督句对建模

    该研究提出了一种完全无监督学习的句子表示模型 Trans-Encoder，融合了 Bi-Encoder 和 Cross-Encoder 两种学习范式，在多个 benchmark 上表现优于现有的无监督句子编码器。

    Sep, 2021

  • 多语言信息检索的蒸馏

    使用 Translate-Distill 框架进行跨语言信息检索 (CLIR) 已经显示出其通过翻译和塑造训练跨语言神经双重编码器模型的好处。然而，Translate-Distill 仅支持单一语言。本研究扩展 Translate-Distill 并提出了用于多语言信息检索 (MLIR) 的多语言 Translate-Distill (MTD) 方法。我们通过 nDCG@20 指标和 MAP 指标在性能上展示了使用 MTD 培训的 ColBERT-X 模型优于以前的最先进训练方法 Multilingual Translate-Train，其在 nDCG@20 上提高了 5% 到 25%，在 MAP 上提高了 15% 到 45%。我们还展示了该模型对于训练批次中语言混合方式的鲁棒性。我们的实现可在 GitHub 上找到。

    May, 2024

  • 多视角增强蒸馏：改进实体链接

    本篇论文提出了一种多视图增强蒸馏框架，通过跨编解码器到对编解码器的多精细和提及相关部分的知识传输，从而有效地学习与不同提及相匹配的实体表示，实验表明该方法在几个实体链接基准上实现了最优性能。

    May, 2023

  • 序列标注的编码器 - 解码器 Transformer 蒸馏

    本文提出了一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从这些大模型获得的知识中获益，并在多个序列标记数据集上展现了新的卓越表现，证明了这个框架在少量数据学习场景下进行大模型蒸馏的有用性。

    Feb, 2023