Jun, 2023

GAIA 搜索: Hugging Face 与 Pyserini 的自然语言处理训练数据探索互操作性

PDF
TL;DR本篇论文提出使用信息检索领域的成熟和经过多次测试的方法来对现代 NLP 的大规模文本语料库进行快速和用户友好的质性分析，提出了 GAIA Search 作为一个在 NLP 数据质量分析中既可以作为原型工具又可以作为独立的定性分析工具的搜索引擎示例。
qualitative analysistextual corporainformation retrievalnlpgaia search
发现论文，激发创造
  • 使用 Pyserini 和 Hugging Face 打造即插即用的搜索引擎 Spacerini

    Spacerini 旨在为大规模研究数据集的定性分析提供便利，合并了 Pyserini 工具包和 Hugging Face 生态系统的功能，使得通过易于使用的用户界面以非编码方式搜索大量数据集变得广泛可用。

    Feb, 2023

  • Pyserini：一个易于使用的 Python 工具包，支持使用稀疏和稠密表示进行可复制的信息检索研究

    本文介绍了一个名为 Pyserini 的 Python 工具包，支持信息检索、稀疏检索以及密集检索，并在两个流行的排名任务中验证了其有效性。

    Feb, 2021

  • HugNLP: 一个统一全面的自然语言处理库

    通过 HuggingFace Transformers 设计的 HugNLP 统一和全面地涵盖了自然语言处理的库，包含模型、处理器和应用层次结构，支持在不同的 NLP 任务上预训练语言模型的学习过程， 并且还提供了一些特色的 NLP 应用程序，如知识增强的 PLMs、通用信息提取、低资源挖掘和代码理解和生成，等等。

    Feb, 2023

  • 使用 PyTerrier 进行信息检索的声明性实验

    本研究提出了一个名为 PyTerrier 的框架，它利用深度机器学习技术如 Tensorflow 和 Pytorch，并采用类似于它们的声明式语言，实现信息检索系统高效检索管道的自动化优化。在 TREC Robust 和 ClueWeb09 测试集上的测试结果表明，PyTerrier 可以提高检索效率。

    Jul, 2020

  • 一种新的神经搜索和洞察平台，用于浏览和组织人工智能研究

    我们提出了一种新的平台 AI Research Navigator，该平台结合了传统的关键词搜索和神经检索，可发现和组织相关文献，同时还可以提供多级文本粒度的搜索，从句子到跨文档的聚合，包括自然语言和领域特定的知识图导航。

    Oct, 2020

  • GAIA：通用人工智能助理的基准测试

    GAIA 是用于智能助手的基准测试，如果解决，将代表 AI 研究的里程碑。GAIA 提出需要一系列基本能力的真实世界问题，例如推理、多模态处理、浏览网页和一般工具使用能力。GAIA 的问题对人类来说概念上简单，但对大多数先进的 AI 来说具有挑战性。该研究证明，人类回答正确率为 92％，而装备插件的 GPT-4 仅为 15％。GAIA 的理念与目前的 AI 基准测试趋势不同，目标是让任务对人类来说更加困难。我们认为，人工通用智能 (AGI) 的来临取决于系统在这类问题上具有与普通人类相似的强大稳健性。使用 GAIA 的方法，我们设计了 466 个问题及其答案。我们发布了这些问题并保留了其中 300 个问题的答案，以提供一个可在此 https URL 上获取的排行榜。

    Nov, 2023

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • 社交智能数据基础设施：构建现在和引领未来

    针对自然语言处理（NLP）系统越来越多地融入人类社会生活的现状，本研究构建了一个综合的社交 AI 数据基础设施，包括全面的社交 AI 分类法和 480 个 NLP 数据集的数据库，以便分析现有的数据集工作，并评估语言模型在不同社交智能方面的性能，为未来数据集开发提供全面的视角和指导。

    Feb, 2024

  • HuggingGPT：利用 HuggingFace 中的 ChatGPT 及其相关模型解决 AI 任务

    利用大型语言模型作为控制器连接各种人工智能模型的 HuggingGPT，可以解决不同领域和模态下的人工智能任务，为人工智能的通用智能迈出了新的一步。

    Mar, 2023

  • 神经检索器与超越：论文提案

    本篇论文提出三个方面的方法，包括新的模型架构、IR 导向的预训练任务、生成大规模训练数据，以解决神经检索器面临的问题，并探讨了多模式查询的未来研究方向和相应的解决方法。

    May, 2022