EMNLPOct, 2020

DiPair：用于万亿级文本匹配和成对建模的快速准确蒸馏

PDF
TL;DR本研究提出了一种用于知识蒸馏的新框架 DiPair，用于在文本配对任务中训练快速和精确的模型，实验表明它在大幅提高速度（超过 350 倍）的同时，相对于 BERT 模型只有微小的质量损失。
knowledge distillationnlptext pair tasksdipairbert
发现论文，激发创造
  • 对话蒸馏：使用非成对数据进行开放领域对话增强

    本研究提出了一种使用未配对数据进行数据扩充的新方法，包括数据层次和模型层次的蒸馏过程，结果表明此方法可以提高对话系统的性能。

    Sep, 2020

  • 图像 - 文本检索的多模态数据集精炼

    基于轨迹匹配的多模态数据集提炼方法在视觉语言数据集上表现出显著的改进，可通过只用 100 个训练对（数量减少一个数量级）几乎使图像到文本的检索准确率翻倍。

    Aug, 2023

  • PAIR：基于预训练 Transformer 的长文本规划和迭代细化

    本文介绍了一种基于预训练转换器的内容控制型文本生成框架 ——PAIR。该框架采用了规划和迭代改进策略，并通过 BART 模型实现了生成。采用自动评估方法得分表明，添加规划可显著提高文本生成的质量，同时人工评估结果表明，PAIR 系统的生成结果相对于没有规划的对比组更加相关和连贯。

    Oct, 2020

  • 指导压缩使得大型语言模型成为高效的零 - shot 排序器

    通过引入一种新颖的指令提炼方法，将开源的 Large Language Models（LLMs）的成对排序能力提炼为更简单、更高效的逐点排序，以提高 LLMs 的排序性能和效率。

    Nov, 2023

  • 精华、适应、精华：为神经机器翻译训练小型、域内模型

    本研究探讨了领域自适应设置下，使用序列级别知识蒸馏训练小型、内存高效的机器翻译模型的最佳实践。该研究的大规模实证结果在机器翻译领域中（使用三个语种对三个领域进行测试）表明，最佳性能需要两次平衡知识蒸馏，一次使用通用数据，另一次使用具体领域的数据并调整教师。

    Mar, 2020

  • 文本分类的数据精炼

    本研究提出了一种新的数据蒸馏方法，使用该方法在文本分类中将大型训练数据集压缩为更小的合成数据集，结果显示使用压缩后的数据集，在保持准确度的前提下只占原始数据集的 0.1%，获得了 90% 左右的性能。

    Apr, 2021

  • 图文检索的动态对比蒸馏

    本研究提出了一种名为 DCD 的新型动态对比蒸馏框架，用于压缩大型 VLP 模型以改善跨模态图像文本检索（ITR）的效率和部署，其中涉及多模态对比学习、动态蒸馏等技术，实验证明在 MS-COCO 和 Flickr30K 基准上，将 DCD 策略应用于两种最先进的视觉语言预训练模型 VILT 和 METER 可加快推断至少 129 倍。

    Jul, 2022

  • 小数据场景中高效自然语言理解的生成 - 蒸馏方法

    通过 generation-distillation 训练方法，利用大型 fine-tuned 语言模型生成无标签训练数据，通过知识蒸馏技术将这些数据的知识转移给小型网络，从而缩小了预先训练 LM 和小型特定任务模型之间的性能差距，实现了使用更少的参数（仅为 BERT 的 300 倍）达到与 BERT 可比的性能。

    Jan, 2020

  • 句对打分：迈向文本理解的统一框架

    本文提出新的统一框架，比较了常见的 IR 度量和神经模型在多个句子对分数任务和数据集上的性能，并尝试通过发布新的数据集来改进比较。我们提出了一种统一的开源软件框架，具有易于插拔的模型和任务，使我们能够尝试使用训练好的句子模型进行多任务复用并在 Ubuntu 对话数据集上提出了新的最优结果。

    Mar, 2016

  • BERT 排名器在蒸馏下的理解

    本文研究了如何通过蒸馏将 BERT 中的搜索知识传递到更小的排名器中，实验表明，使用适当的蒸馏过程可以实现最高 9 倍速度提升，同时保持最先进的性能。

    Jul, 2020