本文提出了利用轻量级的推理，将 re-ranker 的命中率反馈给 retriever 的方法，从而提高检索召回率。实验证明，此方法在多个领域、语言和模态下均明显提高了检索召回率。
May, 2023
本文提出了一种受到知识蒸馏启发的学习信息检索器的技术，在没有标注的查询和文档对的情况下，利用阅读器模型的注意力分数来获得检索器的合成标签，用于下游任务，最终在问题回答方面达到了最先进的结果。
Dec, 2020
该研究提出了一种在深度神经匹配网络上利用外部知识进行响应排序的学习框架，实验证明，该方法在包括商业数据在内的三个信息寻求对话数据集上优于各种基线模型，包括多个深度文本匹配模型和多轮对话响应选择的最新方法。
May, 2018
本文提出了一种新颖的蒸馏方法，将自然语言处理模型中的交互信息更好地应用于开放领域的问答问题，并通过级联蒸馏方法优化成绩，从而在 Open-Domain QA 基准上取得了优于强基线模型的最优结果。
May, 2022
该研究提出了一种名为 Translate-Distill 的方法，它利用交叉编码器或 CLIR 交叉编码器的知识蒸馏来训练双编码器 CLIR 学生模型。
Jan, 2024
提出了一种新的训练方法，称为 G2R（Generative-to-Retrieval distillation），它通过将生成模型的知识注入检索模型中，从而保留检索模型的效率和大规模生成模型的会话能力，通过人工评估等广泛实验证明，使用 G2R 训练的检索型对话系统相比于基准检索模型显示出大幅提高的性能，同时显示出显着较低的推理延迟。
Aug, 2021
该研究探讨了如何提高基于 BERT 和非 BERT 的不同命令匹配体系结构的目标性能，提出了一种跨体系结构教授的知识蒸馏过程，使用 Margin-MSE 损失相对输出分数进行适应，从而显著提高再排序效果。同时，研究发布了教师 - 分数培训文件的软件包，以造福社区。
Oct, 2020
论文利用基于余弦相似度的滤波技术以及辅助损失函数构建了一个新的关于任务导向型对话系统和知识库之间的信息筛选模型，并提出了一个解决现有实体 F1 指标正确性问题的新指标 multiset entity F1。实验结果表明该模型比现有的最先进模型表现更好。
Sep, 2021
通过蒸馏技术，提出了一种名为 DGR 的可行框架，利用排名模型作为教师角色，通过专门设计的蒸馏 RankNet loss 来优化生成式检索模型，从而提升了当前生成式检索系统的性能。
Feb, 2024
该研究提出了一种利用密集检索模型从包含数百万个响应的大型语料库或甚至仅由未配对句子组成的非平行语料库中直接选择适当响应的解决方案，并通过一系列专门设计的学习策略实现其在全范围评估设置下的优越性。
Oct, 2021