May, 2023

超越标签：通过新型主动学习结构为人类提供自然语言解释的支持

PDF
TL;DR该研究提出了一种新的主动学习框架，通过加入自然语言解释生成模型，实现在低资源条件下减少标签和解释注释的人工成本，并提升了决策方案生成的效果。
active-learningexplanation-generation modelreducing human annotationsdata diversity-based aldecision-making
发现论文，激发创造
  • 大型语言模型的自动学习方法

    使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

    Jan, 2024

  • ALICE: 用对比自然语言解释的主动学习

    提出了一种专家循环训练框架 ALICE，它利用对比的自然语言解释来提高学习的数据效率，通过提取和动态更改学习模型的结构来应用于鸟类物种分类和社会关系分类两个视觉识别任务中，验证结果表明，相较于使用 40-100% 更多的训练数据的基线模型，应用对比解释后的模型效果更加出色，而添加一个解释获得的性能增益与添加 13-30 个标记训练数据点的性能增益相当。

    Sep, 2020

  • 自然语言生成的主动学习

    本文是第一次系统地研究了主动学习在文本生成方面的应用，研究表明现有的主动学习策略在文本生成场景下效果不佳，无法持续超越随机示例选择的基准线。

    May, 2023

  • FreeAL：大语言模型时代的无人主动学习

    在大型语言模型时代，我们提出了创新的协作学习框架 FreeAL，通过与 LLMs 交互式提取和过滤任务特定知识，显著提高了 SLM 和 LLM 的零样本性能，无需人工监督。

    Nov, 2023

  • 抽象文本摘要的主动学习

    本文提出了第一个基于多样性原则的主动学习查询策略来缓解抽象文本摘要中昂贵的注释成本，并分析了自学习的效果。该策略可以帮助提高 ROUGE 和一致性分数。

    Jan, 2023

  • XAL：提高低资源学习器效果的可解释主动学习

    通过融合预训练的双向编码器和单向解码器，并结合模型的预测不确定性和解释分数，提出了一种新颖的可解释主动学习框架（XAL），用于低资源文本分类任务，并在六个不同的分类任务上进行了大量实验证明其在解释预测方面的有效性和显著改进。

    Oct, 2023

  • 面向主观 NLP 任务的标注者中心主动学习

    利用主观自然语言处理任务进行准确的人类判断的关键是在注释过程中纳入广泛的视角。引入了注释者中心主动学习策略 (ACAL)，结合数据采样和注释者选择策略，旨在高效地近似获取人类判断的全面多样性，并使用注释者中心度量评估模型性能。对于七个主观自然语言处理任务进行了多种注释者选择策略的实验，同时采用了传统和新颖的以人为中心的评估指标。结果表明，ACAL 提高了数据效率并在注释者中心度量评估中表现出色，但其成功仍取决于足够大而多样的注释者样本池的可用性。

    Apr, 2024

  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • 超越主动学习：通过自动标注、人工修正和人工验证充分发挥人类互动的潜力

    提出了一种名为 CLARIFIER 的交互式学习框架，它利用自动化标签建议和不同难度级别的数据实例，实现更有效地利用人类交互以提高主动学习的性能。

    Jun, 2023

  • 关于模拟主动学习的限制

    通过模拟现有标记的数据集作为未标记的数据池，探索了主动学习算法的评估与验证过程中存在的挑战及被忽略的因素对研究结果的影响，提出在实际数据中测试的方法可能提供更加真实的算法效果下限，同时呼吁定义主动学习最佳实践。

    May, 2023