Nov, 2023

TREC 2023 产品搜索赛道概述

PDF
TL;DR今年是 TREC 产品搜索跟踪的第一年。重点在于创建可重复使用集合，并评估元数据和多模态数据对检索准确性的影响。研究结果显示，在产品搜索领域，传统的检索系统效果非常好，通常优于通用的预训练嵌入模型。我们还评估了使用简化和元数据增强集合的影响，发现扩展集合的影响没有明显的趋势。我们还观察到一些令人惊讶的结果，尽管单阶段密集检索运行在其他任务上表现出色且被广泛采用，但在零 - shot 和精细调整领域中，常常不具竞争力或生成低质量结果。
发现论文，激发创造
  • 2021 TREC 临床试验赛道中的 UNIMIB

    探究了不同的查询表示方法结合不同的检索模型对检索性能的影响，同时提出了一种基于关键词提取方法的检索模型，并通过实验表明，该方法结合传统或基于决策论的相关性模型，可以显著提高查询效果。

    Jul, 2022

  • TREC 2019 公平排名任务综述

    该研究介绍了 TREC Fair Ranking 跟踪项目，实现了服务于不同内容提供商公平性和相关度的基准评估，发布了一个数据集，目标是要公正地呈现来自多个未知组的相关作者的重要性，重点关注能够在各种组别定义下表现出强大性能的系统的开发。

    Mar, 2020

  • TREC 2019 深度学习赛道概览

    TREC 2019 新推出的 Deep Learning Track 使用大量标注数据，对包含三百万文档和五十万训练查询的 Ad Hoc 排名展开研究，结果 Deep Learning 方法在 15 组提交的 75 个运行中取得了优异的表现。

    Mar, 2020

  • TREC 2020 Podcasts 赛道概述

    本文介绍了 2020 年 Text Retrieval Conference (TREC) 的 Podcast Track，包括检索和摘要两个任务，提供了各个参与者的实验结果。此 Track 将在 2021 年 TREC 继续进行，略作修改以响应参与者的反馈意见。

    Mar, 2021

  • TREC 2022 深度学习赛道上的混合检索和多阶段文本排名解决方案

    该论文介绍了基于大规模文本检索技术在实际商业场景中的应用，以及在 TREC 2022 深度学习竞赛中所采用的混合文本检索和多阶段文本排序方法，结果表明我们提出的方法有效。

    Aug, 2023

  • TREC 深度学习赛道：大数据环境中可重用的测试集合

    本文为支持 TREC Deep Learning 的数据重复利用，具体描述了数据集的详细情况，阐述了使用 TREC DL 数据写作论文的最佳实践方法，并对 TREC DL 数据的可重复性进行了分析。

    Apr, 2021

  • 复杂答案检索基准

    介绍了用于填充维基百科文章的 TREC CAR 赛道，提供使用信息检索方法，查询扩展和深度神经网络等一系列系统解决这一难题的早期结果以帮助未来参与者。

    May, 2017

  • TRECVID 2022 视频检索任务综述

    介绍了 TREC 视频检索评估 (TRECVID) 的目标、历史、任务、数据集、评价框架和指标，以及 2022 年 Ad-hoc 视频搜索、视频文本字幕生成、灾难场景描述与索引、长视频中的活动、深度视频理解和电影摘要任务的高级结果概述。

    Jun, 2023

  • TREC CAsT 2019：对话辅助任务概述

    TREC 2019 的新领域 Conversational Assistance Track 旨在推进会话式信息检索研究并创建一个可重复使用的大规模测试集；使用 CAR 和 MARCO 数据集中的 38426252 个段落作为文献语料库，进行了 80 个信息检索对话（30 个训练集和 50 个测试集）。

    Mar, 2020

  • 搜索 COVID-19 问题的科学文献

    探讨如何为新疾病的大流行提供可靠的信息支持，实现新的信息检索，采用不同的排名算法，并提出了神经检索方法，并在 TREC COVID 搜索中证明其有效性。

    Jul, 2020