Feb, 2024

Wikibench: 基于社区驱动的维基百科 AI 评估数据整理

PDF
TL;DRAI 工具越来越多地在社区环境中部署。然而，用于评估 AI 的数据集通常由社区之外的开发者和注释者创建，这可能对 AI 性能产生误导性结论。本研究调查了如何赋予社区推动 AI 评估数据集的有意设计和策划的能力，我们在维基百科进行了探索。我们引入了 Wikibench，这是一个系统，可以让社区协作策划 AI 评估数据集，并通过讨论解决歧义和观点差异。维基百科的实地研究表明，使用 Wikibench 策划的数据集能够有效捕捉到社区的共识、分歧和不确定性。此外，研究参与者使用 Wikibench 来塑造整个数据策划过程，包括改善标签定义、确定数据包含标准和撰写数据说明。根据我们的研究结果，我们提出了支持社区驱动的数据策划的未来发展方向。
ai toolscommunity contextsevaluation datasetswikibenchcommunity-driven data curation
发现论文，激发创造
  • DCA-Bench: 数据集整理代理的基准测试

    利用大型语言模型代理，提出了一个评估数据集筛选能力的基准测试，该基准测试使用真实世界的数据集问题，并通过自动化评估器与人工评估对齐可靠，以进一步探索和创新应用大型语言模型于现实世界的数据集处理。

    Jun, 2024

  • SynthBio: 人工智能和人类协作构建文本数据集的案例研究

    本文提出一种利用大型语言模型实现高效数据集筛选的新方法， 用于构建结构化属性列表描述虚构人物的评估数据集 SynthBio，与 WikiBio 数据集相比更少噪声且更平衡。

    Nov, 2021

  • Wiki-Reliability: 一个面向维基百科内容可靠性的大规模数据集

    本文介绍了 Wiki-Reliability 数据集，该数据集是由标记为具有广泛内容可靠性问题的英文维基百科文章构建的，主要应用于内容可靠性预测的机器学习和信息检索算法的研究。

    May, 2021

  • 维基百科文章的自动质量评估 —— 系统文献综述

    维基百科是世界上最大的在线百科全书，但通过合作维护文章质量是具有挑战性的。本文回顾了现有的自动测量维基百科文章质量的方法，并识别和比较了机器学习算法、文章特征、质量指标和使用的数据集，检查了 149 个独立的研究，并探讨了它们之间的共同点和差距。然而，机器学习在维基百科中仍未被广泛使用，我们希望我们的分析能帮助未来的研究人员改变这种现状。

    Oct, 2023

  • 改变数据，改变世界

    该研究论文讨论了关于 NLP 在深度学习模型和训练数据上的投资，目前我们的模型学到了很多假的模式、社会偏见和标注错误现象。虽然算法解决方案的成功有限，但还有一种替代方案被积极讨论，即更加细心地设计数据集来传递特定的信号，本文探讨了有关数据整理的正反两面观点，并认为基本上数据整理已经在发生和改变世界，问题只在于我们想要在这个过程中投入多少思考。

    May, 2021

  • 人工智能发展的基准数据集未能满足医疗专业人员的需求

    通过深入文献和在线资源的系统性研究，我们编制并发布了一个全面的与临床和生物医学自然语言处理（NLP）广泛领域相关的数据集和基准目录，对 450 个 NLP 数据集进行了手动系统化和注释处理，并与跨医疗应用的相关任务进行了比较，结果显示，当前可用的人工智能基准测试不同于希望在临床环境中进行人工智能自动化的任务，因此需要创建新的基准测试以填补这些差距。

    Jan, 2022

  • AI 竞赛和基准测试：挑战和基准测试的生命周期

    数据科学研究正在经历一场由技术、互联网和不断增长的计算能力驱动的革命。我们在此提出，需要创造性地利用科学研究和算法开发社区作为强大创新的轴心，通过关键评估、社区实验和集众智等方式，让这些社区参与科学发现探索，从而带来发展新的数据驱动、可复现且经过充分基准测试的算法解决方案，来解决当前感兴趣的基础性和应用性问题。通过协调社区参与高度复杂和大规模数据的分析，可以找到最佳应对这些挑战的鲁棒方法学。当社区参与采用竞赛形式，也被称为挑战赛时，分析方法的验证在本质上得到解决，建立了性能基准。最后，挑战赛促进跨学科开放创新，创建能够直接或间接协作解决重要科学差距的社区。通过共同努力，参与者可以解决诸如健康研究、气候变化和社会公正等各种重要问题。最重要的是，挑战赛可以催化和加速将复杂数据合成知识或可执行信息的过程，应被视为一个产生持久社会和研究贡献的强大工具。

    Dec, 2023

  • WIKIR: 基于维基百科构建大规模英语信息检索数据集的 Python 工具包

    本文提出了一种基于 Wikipedia 的开源工具 WIKIR 来自动构建大规模英文信息检索数据集，提供了 wikIR78k 和 wikIRS78k 两种共 78628 个查询和 3060191 个 (query,relevant documents) 匹配数据的公开数据集，以解决当前深度学习方法在小数据集上表现不佳并难以进行学术研究问题。

    Dec, 2019

  • 将维基百科转化为查询焦点摘要的增强数据

    本研究提出了一种基于维基百科的方法收集一个大规模的问题导向文本摘要数据集 (WIKIREF) 并用于数据增广，同时使用 BERT 算法开发出一个 Q-BERT 模型进行摘要提取，采用细调神经网络方法，将海量参数的大模型适应于小型基准测试，实验证明该方法提升了机器摘要的性能。

    Nov, 2019

  • 使用人工智能提高维基百科的可验证性

    使用神经网络为基础的系统 Side 帮助鉴定并更换可能无法验证主张的 Wikipedia 引用，结果表明人类对 Side 建议的更好的引用的选择有 70% 的偏好率。这为辅助事实核查并提高信息可靠性提供了潜在的新途径。

    Jul, 2022