Oct, 2022

度量引导下的蒸馏：从度量器到排序器和检索器的知识蒸馏，用于生成式常识推理

PDF
TL;DR该研究提出了一种基于 Metric Distillation Rule 的常识句子生成方法，通过传递重要性知识来使检索预测结果更加一致并提高性能。
发现论文，激发创造
  • 蒸馏增强的生成式检索

    通过蒸馏技术，提出了一种名为 DGR 的可行框架，利用排名模型作为教师角色，通过专门设计的蒸馏 RankNet loss 来优化生成式检索模型，从而提升了当前生成式检索系统的性能。

    Feb, 2024

  • BERT 排名器在蒸馏下的理解

    本文研究了如何通过蒸馏将 BERT 中的搜索知识传递到更小的排名器中，实验表明，使用适当的蒸馏过程可以实现最高 9 倍速度提升，同时保持最先进的性能。

    Jul, 2020

  • 检索增强型通识生成模型

    采用检索方法增强先前训练和微调，提出了一种新的框架用于增强常识生成，通过原型句子候选集，进一步使用可训练的句子检索器提高其性能，并在大规模 CommonGen 基准测试上实现了最新的最优结果。

    May, 2021

  • 从阅读器向检索器提取知识以作问答之用

    本文提出了一种受到知识蒸馏启发的学习信息检索器的技术，在没有标注的查询和文档对的情况下，利用阅读器模型的注意力分数来获得检索器的合成标签，用于下游任务，最终在问题回答方面达到了最先进的结果。

    Dec, 2020

  • 知识增强的推理蒸馏：面向知识密集型任务的小型语言模型

    提出了知识增强推理提炼（KARD）这一新颖的方法，以从外部知识库检索的增强知识 fine-tune 小型 LM，来生成 rationale，并且进一步提出了神经重新排序器以获取与理性产生相关的文档。该方法在知识密集型推理数据集上显著提高了小型 T5 和 Flan-T5 模型的性能。

    May, 2023

  • 将大规模生成模型的知识提炼为检索模型，用于高效的开放域对话

    提出了一种新的训练方法，称为 G2R（Generative-to-Retrieval distillation），它通过将生成模型的知识注入检索模型中，从而保留检索模型的效率和大规模生成模型的会话能力，通过人工评估等广泛实验证明，使用 G2R 训练的检索型对话系统相比于基准检索模型显示出大幅提高的性能，同时显示出显着较低的推理延迟。

    Aug, 2021

  • 句向量排序模型的极端压缩：在边缘设备上实现更快的推理、更长的电池续航和更少的存储

    本篇研究提出了在两种不同类型的 ranker 模型上扩展句子转换蒸馏过程的两种方法，包括生成最优尺寸的词汇表和在蒸馏之前对教师的嵌入维数进行降维。结果表明，采用这些扩展技术的学生模型具有极大的压缩程度，而且在测试数据集上表现出高度的有效性和能用性。

    Jun, 2022

  • 神经信息检索推理时重排反馈

    本文提出了利用轻量级的推理，将 re-ranker 的命中率反馈给 retriever 的方法，从而提高检索召回率。实验证明，此方法在多个领域、语言和模态下均明显提高了检索召回率。

    May, 2023

  • 排名蒸馏：学习高性能紧凑排名模型的推荐系统

    在学习排名问题时，我们提出了一种基于知识蒸馏的技术，称为 RD，通过使用更小的模型在保持模型性能的同时提高在线推理的效率，该技术在公共数据集和推荐模型上实现了旨在设计的目的。

    Sep, 2018

  • QCRD：基于质量引导的对比理由蒸馏用于大型语言模型

    通过对比性理由蒸馏，我们提出了一种质量引导的方法用于推理能力学习，能够从大型语言模型中提取正面和负面的知识理由，并通过在线更新的判别器优化训练过程，得到更高质量的可解释性底层语言模型。

    May, 2024