ACLApr, 2023

自然语言处理公民科学项目中的经验教训

PDF
TL;DR研究发现，民间科学可以用于自然语言处理领域的数据标注，但需要考虑可扩展性，参与度和法律伦理等问题，可以提供指南和数据以支持未来的研究。
natural language processingannotated corporacitizen sciencecrowdsourcingnlp
发现论文，激发创造
  • 我们在模拟任务还是模拟标注者？—— 自然语言理解数据集中标注者倾向的研究

    本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

    Aug, 2019

  • 将众包和主动学习相结合，从推文中分类工作生活事件

    本研究针对社交媒体研究中标注过程耗时，使用了基于活跃学习和众包方法的策略，评估了 4 种不同的活跃学习策略对于自动分类的影响，结果表明众包可以有效提高标注的质量，而活跃学习则有助于减少所需的推文数量。

    Mar, 2020

  • AnnoLLM: 使大型语言模型成为更好的众包注释工具

    本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

    Mar, 2023

  • 清洗或标注：如何使用有限的数据采集预算

    本文提出了一种通过在注释过程中专门清理高概率错误样本的方法，以优化注释过程，并在三种模型变化和四个自然语言处理任务上进行的实验证明，该方法在分配相同的有限注释预算时优于聚合注释和高级去噪方法。

    Oct, 2021

  • 反思标注：语言学习者可以做出贡献吗？

    本篇论文调研了语言学习者对于数据集标注任务的适用性，通过招募 36 名英语、韩语和印尼语的语言学习者提供标注，结论是语言学习者可以通过额外的资源提供准确的标注，并且数据标注可以提高学习者的语言能力。

    Oct, 2022

  • NLP 众包的伦理学意义超越公平薪酬

    该论文讨论了众包工人在 NLP 研究中的伦理问题，提出了应考虑 Belmont 报告中的三个伦理原则评估这些风险，并澄清了有关 Institutional Review Board（IRB）申请的一些常见误解。

    Apr, 2021

  • 面向主观多任务自然语言处理问题的基于模型的数据获取

    通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

    Dec, 2023

  • PubMed 概要中疾病提及标注的微任务众包

    通过研究发现，微任务众包平台能够有效地捕捉 PubMed 文摘中的疾病提及，并通过专家投票方法将多个工作者的注释合并，生成 BioNLP 领域中完全标注的语料库。

    Aug, 2014

  • 公众科学与机器学习在研究和自然保护中的应用：以欧亚山猫、散居啮齿动物和昆虫为例

    网络技术在自然保护区和国家公园中的应用越来越普遍，用于支持保护工作。通过自动照片陷阱网络对濒危物种如欧亚山猫（Lynx lynx）进行监测，但该方法产生了大量需要准备、分析和解释的数据。因此，研究人员在这个领域越来越需要处理来自这些数据的支持。一种机会是寻求来自志愿公众科学家的支持，他们可以帮助标记数据，然而，保留他们的兴趣是具有挑战性的。另一种方法是使用卷积神经网络进行图像识别自动化处理。在本研究中，我们将讨论与自然研究和保护相关的考虑事项，以及利用公众科学和机器学习加快数据准备、标注和分析过程的机会。

    Mar, 2024

  • 从随机到有知识的数据选择：基于多样性的方法优化人工标注和少样本学习

    在自然语言处理中，获取用于监督学习的带注释数据是一个重要挑战。本文提出了一种自动和明智的数据选择架构，用于建立用于少样本学习的小型数据集，以解决众包标注的问题。

    Jan, 2024