KDDMar, 2020

用户生成数据学习的陷阱：主观类别问题的深入分析

PDF
TL;DR该论文描述了使用用户定义标签进行有监督学习的挑战，提出了对于主观标签所产生的偏差和操作提供了一个检测框架，帮助数据挖掘从业者在项目的早期检测出主观类问题，并避免使用传统机器学习技术处理主观类问题时浪费宝贵的时间和资源。
supervised learninguser-defined labelssubjective class issuedata miningmachine learning
发现论文，激发创造
  • 无标准数据情况下的众包研究 -- 案例分析

    本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

    Jun, 2019

  • 主观 NLP 任务的两种对比数据注释范式

    本研究提出使用描述性和规范性两种策略来标注数据，探讨了两种策略的优劣，并且借助仇恨言论数据的标注实验来说明两种策略的不同。

    Dec, 2021

  • 面向主观多任务自然语言处理问题的基于模型的数据获取

    通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

    Dec, 2023

  • 交互式弱监督：学习用于数据标注的有用启发式方法

    该研究论文展开了交互式弱监督学习框架的研究，该框架中，方法提议启发式方法并从用户每个被提议的启发式反馈中学习，其实验表明只需要少量的反馈迭代就可以训练模型达到高竞争的测试集性能，而不需要访问本文中使用的标签数据。

    Dec, 2020

  • 利用类别可学性处理带噪数据

    本文介绍了一种与分类器和训练算法共同作用的在线算法，通过其可提高在可学习类别上的整体性能

    Nov, 2018

  • 数据无罪，模型有责：理解主观标注中的噪声与偏差

    研究人员提高了对聚合标签的伤害的认识，特别是在自然存在人类标注员之间存在分歧的主观任务中。本文展示了仅仅提供聚合标签的模型在高度分歧的数据实例上表现出较低的置信度。我们认为过去的研究将这些实例视为标注错误，但我们认为高度分歧的文本实例难以学习的原因是传统的聚合模型在从主观任务中提取有用信号方面表现不佳。受最近一些研究表明从原始标注中学习的有效性的启发，我们研究了使用多个真实标准的分类方法。我们的实验显示在高度分歧实例上有置信度的提高。

    Mar, 2024

  • 将主观众评估作为改进自然语言生成的附加客观标准的估计

    本文探讨在多任务学习设置中，使用主观评估作为语言生成模型训练的一部分，并使用群众创作对话语料库对六种不同的语言生成模型进行微调。评估显示，多任务学习的模型生成的话语在主观上评分最高，且在推动对话发展、无冒犯性等方面得分最高。因此，将来可以研究将主观人类评估纳入语言生成模型训练中，从而在开发过程中更好地与人类用户进行交互。

    Apr, 2021

  • 无监督机器学习模型选择中的主观性

    本研究以隐马尔可夫模型为例，调查了模型选择过程中涉及的主观性，发现参与者和大型语言模型在不同的应用场景下存在选择的差异和不一致性，结果突出了在模型选择过程中制定标准化方式以记录主观选择的重要性。

    Sep, 2023

  • 基于启发式弱学习的自动决策制定

    本研究旨在探讨如何通过从用户中收集排名决策策略来参与算法设计，以替代传统需要人工标记成本高昂的方法，并借助两个用例的实证数据表明，我们提出的弱监督学习方法可以几乎与完全监督方法一样准确地理解用户的偏好和选择。

    May, 2020

  • 建模协作者：通过 LLM 工具使用实现最小人力投入的主观视觉分类

    通过使用自然语言交互减少人工标记工作量，本研究提出了一个新框架，用于快速定义概念并自动标记训练数据点，从而替代传统的手动分类方法。在 15 个主观概念和 2 个公共图像分类数据集上进行测试，我们的训练模型在敏捷建模以及 ALIGN、CLIP、CuPL 等最新的零样本分类模型以及大型视觉问答模型（如 PaLI-X）之上表现出色。

    Mar, 2024