SIGIRMar, 2021

使用 ir_datasets 进行简化的数据整理

PDF
TL;DR介绍一个 names 为 ir_datasets 的工具，使 Information Retrieval (IR) 实验的数据处理更加容易。该工具提供 Python 和命令行接口，处理文本数据集用于全文搜索，并通过 ir_datasets 目录提供数据集的信息以及各项基准数据提供的核心信息和链接。
information retrievalir experimentsdata formatstextual datasetsir_datasets
发现论文，激发创造
  • WIKIR: 基于维基百科构建大规模英语信息检索数据集的 Python 工具包

    本文提出了一种基于 Wikipedia 的开源工具 WIKIR 来自动构建大规模英文信息检索数据集，提供了 wikIR78k 和 wikIRS78k 两种共 78628 个查询和 3060191 个 (query,relevant documents) 匹配数据的公开数据集，以解决当前深度学习方法在小数据集上表现不佳并难以进行学术研究问题。

    Dec, 2019

  • 神奇的数据及如何查询它们

    本文介绍了一个用于不同数据集整合和查询的统一框架，并在计算机视觉数据集中展示了其在不同情景下的优势。

    Jan, 2022

  • 数据集：自然语言处理社区的共享库

    该研究论文探讨了一个名为 Datasets 的 NLP 数据集库，旨在通过标准化终端用户接口、版本控制和文档，为 NLP 研究人员提供一个小型数据集至互联网规模文集均能使用的轻量级前端，并采用分布式、社区驱动的方法添加数据集和记录使用情况。经过一年的发展，在该库中已经包含超过 650 个独特的数据集，有 250 多名贡献者，并帮助支持了一系列新颖的交叉数据集研究项目和共享任务。

    Sep, 2021

  • DataFinder：从自然语言描述中推荐科学数据集

    介绍了一种新的数据集推荐系统，该系统能够根据研究想法的简短自然语言描述，推荐相关的数据集。该系统通过使用机器学习技术创建了 “DataFinder 数据集”，并比较了各种信息检索算法在其测试集上的效果，同时还发布了数据集和模型以促进数据集推荐的进展。

    May, 2023

  • 模仿学习数据集：创建数据集、训练智能体和基准测试的工具包

    通过创建模仿学习数据集，解决模仿学习领域中的专家数据、数据集创建和评估过程方面的问题。

    Mar, 2024

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • IR2：信息检索的信息规范化

    使用 IR2 信息规范化技术在有限训练数据环境下，针对复杂查询进行综合数据生成和信息检索，实验结果表明这种规范化技术在数据生成过程中优于以往的方法，并可将成本降低 50%。

    Feb, 2024

  • TUDataset: 用于图形学习的基准数据集集合

    本文介绍了 TUDataset 数据集，提供了 Python 数据加载程序、核心和图神经网络基线实现以及评估工具等，用于解决图数据上（监督）学习领域中数据集和评估程序的不足，并提供了标准化的评估方法和基准实验。

    Jul, 2020

  • DataLab：数据分析和干预平台

    DataLab 是一个用于交互式分析数据特征，提供标准接口进行数据处理操作，支持数据集推荐和全局视野分析的统一数据导向平台。

    Feb, 2022

  • VizWiz 数据集浏览器：一种可视化机器学习数据集的工具

    本研究提出了一种可视化工具，用于穷尽性地搜索和浏览大规模机器学习数据集。该工具搭建在 VizWiz 数据集的基础上，可支持和促进定性和定量研究，并开启多模态信息的可视化和研究新方向。该工具公开在此 URL。

    Dec, 2019