ACLApr, 2022

ED2LM: 用于更快文档重新排序推理的 Encoder-Decoder 到语言模型

PDF
TL;DR提出使用预训练的 encoder-decoder 模型，通过 document to query generation 来进行重新排名，同时在推理时，将其分解为仅有 decoder 的语言模型以提高推理速度，实验结果表明该方法可以比传统的交叉注意模型快 6.8 倍，并且能取得相当的效果。
发现论文，激发创造
  • 神经机器翻译的高效推断

    该论文通过深度编码器和浅层解码器结构、多头注意力修剪以及将解码器自注意力替换为简化的循环单元等方法，可以在不降低翻译质量的情况下，在 CPU 和 GPU 上分别获得高达 109% 和 84% 的加速，并将参数数量减少 25%。

    Oct, 2020

  • 可学习的后期交互的高效文档排序

    提出了一种新颖的学习型后交互模型（LITE），通过解决轻量级评分器的手工设计和访问个体文档令牌嵌入的问题来改善查询 - 文档关联性在信息检索中的性能，并在领域内和零样本重排序任务上优于以前的后交互模型。

    Jun, 2024

  • 使用模块化 Re-ranker 进行长文档重新排名

    本文提出了一种新的长文档重新排序方法，通过利用自注意力机制和模块化 Transformer 框架建立查询到文档的交互模型，避免了编码过程中低维度表示带来的信息瓶颈，实现了从全部文档中提取重要信息的目的，并在 Robust04 和 ClueWeb09 等数据集上实现了有效的重新排序。

    May, 2022

  • 文档内级联：学习选择用于神经网络文档排序的片段

    采用基于知识蒸馏的 ESM 模型剪枝候选文档以减少计算量，从而降低了基于 ETM 模型的查询延迟并提高了检索效果。

    May, 2021

  • 一次编码，多次并行解码：高效 Transformer 解码

    基于 Transformer 的 NLP 模型在计算成本上限制了其应用场景。我们引入了一种新的编码器 - 解码器模型配置（PiD），通过一次编码和并行解码输出来提高结构化输出和问答任务的效率，避免了重复的输入编码以及减小解码器的内存占用，从而获得了可比较或更好性能并具有高达 4.6 倍加速的计算减少。

    Mar, 2024

  • 神经信息检索推理时重排反馈

    本文提出了利用轻量级的推理，将 re-ranker 的命中率反馈给 retriever 的方法，从而提高检索召回率。实验证明，此方法在多个领域、语言和模态下均明显提高了检索召回率。

    May, 2023

  • 通过嵌入对齐的查询编码器蒸馏是提升密集检索器在线效率的强大基准方法

    本文中，我们提出了一个简单的基线方法，使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器，通过无监督的蒸馏和适当的学生初始化，仍然可以在 BEIR 基准测试中保持 92.5％的 DE 性能。我们希望我们的研究可以鼓励社区重新评估方法复杂性和性能提升之间的权衡。

    Jun, 2023

  • 多语言文本编码器在跨语言检索中的应用

    通过系统实证分析，我们发现预训练的最新型多语言编码器并不能显著超越早期基于跨语言单词嵌入的模型在无监督文档级和句子级交叉语言信息检索方面的性能，但在经过监督学习优化的条件下，可在句子检索中取得最高准确率，并通过局部相关性匹配和对特定领域对比微调等方法最大程度提升排名质量，还揭示了基于单语数据训练的检索模型会出现 “单语过度拟合” 的现象，这与针对特定目标语言的单语信息检索的交叉语言转移存在显著差异。

    Dec, 2021

  • 使用预训练的序列到序列模型进行文档排名

    通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于 BERT 等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

    Mar, 2020

  • 高效编码格子用于重排

    本文探讨了一种名为 EEL 的方法，使用 Transformers 对生成的输出的网状结构进行编码，结合新型的分词因素的迭代筛选算法 TFR，实现对 “下游指标” 进行重新排序的多文本生成任务模型的优化。通过实证研究，该算法的速度相对于传统算法提高不少，并且效果也比传统方法更好。

    Jun, 2023