Feb, 2024

走向可信的重新排名：一种简单且有效的弃权机制

PDF
TL;DR神经信息检索 (NIR) 通过启发式的信息检索系统显著改进，但是仍然存在频繁的失败，通常所使用的模型无法检索与用户查询相关的文档。我们通过提出一个轻量级的针对现实约束的弃权机制，特别强调重新排名阶段，以解决这个挑战。我们在黑盒场景下介绍了一个评估弃权策略的协议，证明了其效果，并提出了一个简单而有效的数据驱动机制。我们提供了实验复现和弃权实现的开源代码，促进其在不同环境中的更广泛应用。
发现论文，激发创造
  • 弃权排名

    我们介绍了一种新的排名框架，其中学习器可以以有限的代价 $c$ 放弃对某些预测的判断，并对这个框架进行了广泛的理论分析，包括一系列 $f$- 一致性边界，达到了此领域的最新理论保证水平，我们进一步提出，这种新的放弃策略在使用常见的等连续假设空间时显得尤为重要，我们还报告了实验结果，证明了带放弃策略的排名方法的有效性。

    Jul, 2023

  • 后戒断期：针对 QA 中已弃用实例的可靠重新尝试

    本文提出一种 “Post-Abstention” 任务来增加自然语言处理系统的覆盖率并保持准确度，通过对 11 个 QA 数据集的全面实验证明，该方法可以显著提高性能指标。

    May, 2023

  • 神经检索器与超越：论文提案

    本篇论文提出三个方面的方法，包括新的模型架构、IR 导向的预训练任务、生成大规模训练数据，以解决神经检索器面临的问题，并探讨了多模式查询的未来研究方向和相应的解决方法。

    May, 2022

  • 针对召回导向的神经信息检索的相关性反馈策略

    通过基于 BERT 的密集向量搜索产生的相关排名，并基于累积求和的查询和选择的嵌入，我们提出了一种更注重召回率的减少审核工作量的方法，该方法可与基线方法相比，以固定的召回目标为基础，减少 17.85% 至 59.04% 的审核工作量。

    Nov, 2023

  • 神经信息检索推理时重排反馈

    本文提出了利用轻量级的推理，将 re-ranker 的命中率反馈给 retriever 的方法，从而提高检索召回率。实验证明，此方法在多个领域、语言和模态下均明显提高了检索召回率。

    May, 2023

  • 可靠的视觉问答：宁可弃而不答，不要错误作答

    本文提出了一种可靠的视觉问答方法，通过多模态选择函数对预测的答案进行准确性估计，分析了 VQA 模型的覆盖率与风险之间的权衡；提出了一种有效的可靠性指标，相对于提供错误的答案，强制要求 VQA 模型进行更多的弃权表明其不知道问题的答案。

    Apr, 2022

  • 基于自然语言逻辑的自回归多跳文档检索方法用于事实核查

    我们提出了一种基于自回归公式的检索和重新排序方法，该方法用自然逻辑为基础，使用证明系统动态终止检索过程，同时使用比竞争系统少 5 到 10 倍的记忆，对 FEVER、HoVer 和 FEVEROUS-S 等数据集具有与当前最先进方法相当的性能。

    Dec, 2022

  • 跨语言信息检索的简洁有效神经排序和重排序基线

    该研究旨在提供一种用于跨语言检索模型的组织框架，并在 TREC 2022 NeuCLIR 中的三种语言测试集上实现基于此的可重复现的基准线。

    Apr, 2023

  • 深入研究信息检索中的神经排名模型

    该研究论文主要讨论了信息检索中的排名模型如何应用传统启发式方法、概率方法和现代机器学习技术等技术构建，并重点介绍了基于浅层或深层神经网络的神经排名模型，分析了其基本原理和学习策略，并通过基准测试比较了这些模型，最后探讨了当前文献中存在的问题以及未来的发展方向。

    Mar, 2019

  • 预测者 - 排斥者多类弃权：理论分析与算法

    我们研究了多类别分类中的学习与弃权的关键框架，介绍了一系列新的理论和算法结果，提出了几个新的代理损失函数家族，并分析了单阶段和两阶段学习设置的保证和应用，证明了我们的代理损失的优越性，并展示了广泛适用的两阶段弃权算法的卓越性能。

    Oct, 2023