KDDSep, 2020

Active Learning++：利用本地模型解释包含标注者原因

PDF
TL;DR研究提出一种新的主动学习框架，称为 Active Learning++，其可以利用注释者的标签以及其理由，通过修改基于 Bagging 的 Query by Committee (QBC) 采样策略的不一致度量方法，将委员会模型的权重分配给具有更高一致性的注释者排序的委员会模型，在模拟研究中表明该框架显著优于 QBC based vanilla AL framework。
active learningannotator's rationalequery by committeelocal explanationml model
发现论文，激发创造
  • 超越标签：通过新型主动学习结构为人类提供自然语言解释的支持

    该研究提出了一种新的主动学习框架，通过加入自然语言解释生成模型，实现在低资源条件下减少标签和解释注释的人工成本，并提升了决策方案生成的效果。

    May, 2023

  • 面向主观 NLP 任务的标注者中心主动学习

    利用主观自然语言处理任务进行准确的人类判断的关键是在注释过程中纳入广泛的视角。引入了注释者中心主动学习策略 (ACAL)，结合数据采样和注释者选择策略，旨在高效地近似获取人类判断的全面多样性，并使用注释者中心度量评估模型性能。对于七个主观自然语言处理任务进行了多种注释者选择策略的实验，同时采用了传统和新颖的以人为中心的评估指标。结果表明，ACAL 提高了数据效率并在注释者中心度量评估中表现出色，但其成功仍取决于足够大而多样的注释者样本池的可用性。

    Apr, 2024

  • 基于扰动的主动学习问答

    利用主动学习训练策略可以建立一个问题回答模型，以更小的注释成本实现，该策略选择最具信息量的未标记训练数据以有效地更新模型，该研究提出一种基于扰动的主动学习采集策略，并证明其比现有常用策略更有效。

    Nov, 2023

  • ALE：面向自然语言处理的基于仿真的主动学习评估框架用于参数驱动的查询策略比较

    使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。

    Aug, 2023

  • XAL：提高低资源学习器效果的可解释主动学习

    通过融合预训练的双向编码器和单向解码器，并结合模型的预测不确定性和解释分数，提出了一种新颖的可解释主动学习框架（XAL），用于低资源文本分类任务，并在六个不同的分类任务上进行了大量实验证明其在解释预测方面的有效性和显著改进。

    Oct, 2023

  • 大型语言模型的自动学习方法

    使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

    Jan, 2024

  • ALICE: 用对比自然语言解释的主动学习

    提出了一种专家循环训练框架 ALICE，它利用对比的自然语言解释来提高学习的数据效率，通过提取和动态更改学习模型的结构来应用于鸟类物种分类和社会关系分类两个视觉识别任务中，验证结果表明，相较于使用 40-100% 更多的训练数据的基线模型，应用对比解释后的模型效果更加出色，而添加一个解释获得的性能增益与添加 13-30 个标记训练数据点的性能增益相当。

    Sep, 2020

  • 可解释的主动学习用于偏好调查

    通过主动学习和基于用户的偏好调取方法，解决在推荐系统中缺乏用户存在或受限于其他用户数据访问的冷启动问题，从而提供个性化推荐。

    Sep, 2023

  • ACTOR：利用注释者特定的分类器头部进行主动学习以应对人类标签变异

    在主动学习设置中，多头模型在不确定性估计方面显着优于单头模型。通过设计和评估具有特定标注员头的获取函数在两个数据集上，我们展示了群体级别的熵在两个数据集上表现良好。重要的是，它在预测和不确定性估计方面的性能与全量训练相当，同时节约高达 70% 的标注预算。

    Oct, 2023

  • 可解释的主动学习

    该论文扩展了 LIME 框架来为主动学习的建议提供可解释性的解释，并引入了不确定性偏差的概念来衡量主动学习策略查询空间区域的子组差异。使用该技术可以跟踪用户定义的聚类或基于不确定性来源自动生成的聚类。

    Jul, 2017