Mar, 2020

TREC 2019 深度学习赛道概览

PDF
TL;DRTREC 2019 新推出的 Deep Learning Track 使用大量标注数据，对包含三百万文档和五十万训练查询的 Ad Hoc 排名展开研究，结果 Deep Learning 方法在 15 组提交的 75 个运行中取得了优异的表现。
deep learningtrec 2019ad hoc rankinglarge training datareusable test sets
发现论文，激发创造
  • TREC 深度学习赛道：大数据环境中可重用的测试集合

    本文为支持 TREC Deep Learning 的数据重复利用，具体描述了数据集的详细情况，阐述了使用 TREC DL 数据写作论文的最佳实践方法，并对 TREC DL 数据的可重复性进行了分析。

    Apr, 2021

  • TREC 2022 深度学习赛道上的混合检索和多阶段文本排名解决方案

    该论文介绍了基于大规模文本检索技术在实际商业场景中的应用，以及在 TREC 2022 深度学习竞赛中所采用的混合文本检索和多阶段文本排序方法，结果表明我们提出的方法有效。

    Aug, 2023

  • TREC 2019 公平排名任务综述

    该研究介绍了 TREC Fair Ranking 跟踪项目，实现了服务于不同内容提供商公平性和相关度的基准评估，发布了一个数据集，目标是要公正地呈现来自多个未知组的相关作者的重要性，重点关注能够在各种组别定义下表现出强大性能的系统的开发。

    Mar, 2020

  • TREC 2020 Podcasts 赛道概述

    本文介绍了 2020 年 Text Retrieval Conference (TREC) 的 Podcast Track，包括检索和摘要两个任务，提供了各个参与者的实验结果。此 Track 将在 2021 年 TREC 继续进行，略作修改以响应参与者的反馈意见。

    Mar, 2021

  • TREC 2023 产品搜索赛道概述

    今年是 TREC 产品搜索跟踪的第一年。重点在于创建可重复使用集合，并评估元数据和多模态数据对检索准确性的影响。研究结果显示，在产品搜索领域，传统的检索系统效果非常好，通常优于通用的预训练嵌入模型。我们还评估了使用简化和元数据增强集合的影响，发现扩展集合的影响没有明显的趋势。我们还观察到一些令人惊讶的结果，尽管单阶段密集检索运行在其他任务上表现出色且被广泛采用，但在零 - shot 和精细调整领域中，常常不具竞争力或生成低质量结果。

    Nov, 2023

  • 大数据环境下排名模型基准测试

    通过比较 MS MARCO 和 TREC 深度学习赛道与 1990 年代的 TREC 专家检索的情况，本文探讨了评估努力的设计如何鼓励或阻碍某些结果，提出避免这些困难的最佳实践，概述了该领域的研究进展，并描述了我们对于 “健壮有用性” 的期望结束状态。

    May, 2021

  • TREC 2021 深度学习赛道上的 PASH：多级排序的生成增强模型

    本文介绍了 PASH 参加 TREC 2021 深度学习赛道所采用的稀疏和稠密检索方法，采用基于模型预训练的点对和成对排名策略，通过引入 T5 生成模型进一步提高了性能。

    May, 2022

  • 2021 TREC 临床试验赛道中的 UNIMIB

    探究了不同的查询表示方法结合不同的检索模型对检索性能的影响，同时提出了一种基于关键词提取方法的检索模型，并通过实验表明，该方法结合传统或基于决策论的相关性模型，可以显著提高查询效果。

    Jul, 2022

  • 复杂答案检索基准

    介绍了用于填充维基百科文章的 TREC CAR 赛道，提供使用信息检索方法，查询扩展和深度神经网络等一系列系统解决这一难题的早期结果以帮助未来参与者。

    May, 2017

  • TREC CAsT 2019：对话辅助任务概述

    TREC 2019 的新领域 Conversational Assistance Track 旨在推进会话式信息检索研究并创建一个可重复使用的大规模测试集；使用 CAR 和 MARCO 数据集中的 38426252 个段落作为文献语料库，进行了 80 个信息检索对话（30 个训练集和 50 个测试集）。

    Mar, 2020