SIGIRApr, 2020

Choppy: 用于排名列表截断的切割 Transformer

PDF
TL;DR该研究提出了一种基于 Transformer 网络的模型 Choppy，利用多头注意力机制来优化用户定义的 IR 度量标准，解决排名结果列表截断问题，取得了优于最近现有的最佳方法的效果。
information retrievalranked list truncationtransformer architecturemulti-head attentionir metric optimization
发现论文，激发创造
  • 搜索和检索增强生成的列表感知重排序 - 截断联合模型

    我们提出了一个联合模型（GenRT），通过生成式编码 - 解码结构将重新排序和截断这两个任务同时进行，从而解决了信息检索中重新排序和截断任务之间的问题。实验证明，我们的方法在网络搜索和检索增强的大语言模型上的重新排序和截断任务均达到了最佳表现。

    Feb, 2024

  • 基于大型语言模型的排序列表截断

    我们从新的 “检索 - 然后重新排名” 的角度研究了排名列表截取（RLT），通过对检索列表进行截断（即修剪重新排名的候选项），我们优化了重新排名。我们通过复现现有的 RLT 方法来填补这个研究空白，特别是基于大型语言模型（LLM）的重新排名。我们从三个角度考察了在 “检索 - 然后重新排名” 设置下针对 LLM 重新排名的 RLT 方法，分别是评估 LLM 基于词汇的第一阶段检索下的 RLT 方法、研究不同类型的第一阶段检索器对 RLT 方法的影响以及研究不同类型的重新排名器对 RLT 方法的影响。我们在 TREC 2019 和 2020 深度学习环节上进行实验，研究 8 种 RLT 方法在涉及 3 个检索器和 2 个重新排名器的流水线上的表现，并对 RLT 方法在重新排名的背景下得出了新的见解。

    Apr, 2024

  • 使用模块化 Re-ranker 进行长文档重新排名

    本文提出了一种新的长文档重新排序方法，通过利用自注意力机制和模块化 Transformer 框架建立查询到文档的交互模型，避免了编码过程中低维度表示带来的信息瓶颈，实现了从全部文档中提取重要信息的目的，并在 Robust04 和 ClueWeb09 等数据集上实现了有效的重新排序。

    May, 2022

  • 基于模块化 Transformer 的排名框架

    本篇论文将 Transformer 排名模型模块化，提出了一种轻量化的在线交互方案，大幅提升了排名的速度和可解释性。

    Apr, 2020

  • 句向量排序模型的极端压缩：在边缘设备上实现更快的推理、更长的电池续航和更少的存储

    本篇研究提出了在两种不同类型的 ranker 模型上扩展句子转换蒸馏过程的两种方法，包括生成最优尺寸的词汇表和在蒸馏之前对教师的嵌入维数进行降维。结果表明，采用这些扩展技术的学生模型具有极大的压缩程度，而且在测试数据集上表现出高度的有效性和能用性。

    Jun, 2022

  • 以用户为中心的排名破解质量饱和的诅咒

    本文提出了一种名为 "基于用户中心排序" 的替代排序算法，该算法能够解决排序模型中的诸多问题，包括模型复杂性和大规模数据分析等方面。

    May, 2023

  • BERT 中文本缩短策略的研究：截断 vs. 摘要

    本研究调查了文档截断和摘要在文本分类任务中的表现，并发现摘要的性能超过了大多数截断方法的变体，仅次于其中一种。该研究还讨论了结果，并引发了进一步研究以开发文档摘要作为一种缩短替代方案的潜力。

    Mar, 2024

  • 可微分的 Transformer 头部子集剪枝

    本文提出了一种可微的子集剪枝技术，通过学习每个头的重要性变量并对未剪枝的头数施加用户指定的硬约束，实现对多头注意力机制的剪枝；实验证明该技术可以实现精确控制稀疏度水平，并在自然语言推理和机器翻译方面的表现不亚于以往技术。

    Aug, 2021

  • 减少截断改善语言建模

    通过我们提出的 Best-fit Packing 方法，我们能够在保持训练效率的同时，完全消除了不必要的截断，并显著提高了模型的性能。

    Apr, 2024

  • 通过损失截断改善自然语言生成

    本文提出了一种利用模型与参考之间的可区分性来处理无效参考的算法，称为损失截断。与常用的 log 损失相比，该方法可以更好地应对嘈杂和无效的参考，并取得了更好的实验效果，生成的样本拥有超越基线并与人类参考相匹配的事实准确性评分。

    Apr, 2020