Jan, 2018

通过主动学习实现高效测试集构建

PDF
TL;DR本研究通过研究多种主动学习策略，探究了不依赖系统排名的文献选择方法，以及对未标记文献进行自动分类的两种方法；并在五个具有不同相关文献稀缺程度的 TREC 数据集上进行了实验研究，其结果表明了我们的方法的有效性，同时分析了在不同数据集上，相关文献稀缺性对结果的影响，为了支持进一步的工作和再现性，因此我们将我们的代码在线分享了。
ir test collectionhuman relevance judgmentsactive learning strategieslabeling accuracyreproducibility
发现论文，激发创造
  • 大规模信息检索评估的活跃抽样

    本文提出一种结合两种方法 —— 抽样和主动选择文档 —— 的大规模信息检索评估方法，其通过向系统分配分布并在评估过程中修改来减少样本偏差，并使用 TREC 数据验证其优点。

    Sep, 2017

  • TREC 深度学习赛道：大数据环境中可重用的测试集合

    本文为支持 TREC Deep Learning 的数据重复利用，具体描述了数据集的详细情况，阐述了使用 TREC DL 数据写作论文的最佳实践方法，并对 TREC DL 数据的可重复性进行了分析。

    Apr, 2021

  • 主动测试：一个高效和稳健的估计准确性的框架

    本研究致力于解决在大型带噪数据集上扩大模型评估规模的问题，并采用主动测试框架，有效查询用户，以最小化审核，测试两种常见计算机视觉任务的性能指标，并表明该方法比其他评估协议更具稳健性，并能节省显着的人工标注工作量。

    Jul, 2018

  • 在检索相关文档的分析上，解决不平衡分类问题的方法比较

    研究比较了基于关键词列表、查询扩展技术、基于主题模型的分类规则以及主动有监督学习四种不同的检索方法，结果表明：基于关键词列表的检索方法容易出现偏见，而主动有监督学习方法在使用合适数量的已标记训练实例时，能够显著提高检索效果。

    May, 2022

  • 大规模网络数据的高效和有效垃圾邮件过滤和重新排序

    本文介绍了一种使用自然语言处理技术针对 ClueWeb09 数据集进行垃圾信息过滤与提高信息检索效果的方法。

    Apr, 2010

  • Active Testing: 一种远程监督关系抽取的公正评估方法

    为了解决现有远程监督关系提取方法中测试集质量低导致的评估偏差问题，本文提出了一种名为主动测试的新型评估方法，通过利用嘈杂的测试集和一些人工注释，可以为远程监督关系提取器提供几乎无偏的评估。在广泛使用的基准测试中，实验表明我们提出的方法可以为远程监督关系提取器提供几乎无偏的评估。

    Oct, 2020

  • TREC 2019 深度学习赛道概览

    TREC 2019 新推出的 Deep Learning Track 使用大量标注数据，对包含三百万文档和五十万训练查询的 Ad Hoc 排名展开研究，结果 Deep Learning 方法在 15 组提交的 75 个运行中取得了优异的表现。

    Mar, 2020

  • 自然语言推理的多源主动学习研究

    通过对多种数据源进行实验，本文显示了四种常见主动学习策略在自然语言推理任务上往往比随机选择无效，因为不确定性策略会获取到集体离群值，即难以学习的实例，这些实例会阻碍学习和泛化。然而，当弃置集体离群值后，策略的有效性得以恢复并且明显优于随机选择。同时，本文发现不同数据源之间的离群值具有不同形式，在不同难度级别的测试数据中不同策略的表现存在差异。

    Feb, 2023

  • 抽象文本摘要的主动学习

    本文提出了第一个基于多样性原则的主动学习查询策略来缓解抽象文本摘要中昂贵的注释成本，并分析了自学习的效果。该策略可以帮助提高 ROUGE 和一致性分数。

    Jan, 2023

  • 面向主观 NLP 任务的标注者中心主动学习

    利用主观自然语言处理任务进行准确的人类判断的关键是在注释过程中纳入广泛的视角。引入了注释者中心主动学习策略 (ACAL)，结合数据采样和注释者选择策略，旨在高效地近似获取人类判断的全面多样性，并使用注释者中心度量评估模型性能。对于七个主观自然语言处理任务进行了多种注释者选择策略的实验，同时采用了传统和新颖的以人为中心的评估指标。结果表明，ACAL 提高了数据效率并在注释者中心度量评估中表现出色，但其成功仍取决于足够大而多样的注释者样本池的可用性。

    Apr, 2024