ACLMar, 2022

聚类与调参：提高文本分类的冷启动性能

PDF
TL;DR本文提出一种方法，通过在预训练和微调阶段之间添加一个中间的无监督分类任务来提高文本分类任务的性能，该任务使用聚类作为中间任务，并表明这种额外的分类阶段可以显著提高性能。
发现论文，激发创造
  • 提高自然语言处理变形金刚模型长期的分类可靠性

    本研究比较不同方法用于长期分类任务的 BERT 模型的微调，发现使用所有可用的未标记评论来微调模型是最佳解决方案，而仅关注模型之前未遇到的单词的评论并不可取，其中一个更有效的解决方案是从新时期的评论中随机抽样评论。

    Feb, 2023

  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • 自监督语言建模的冷启动主动学习

    使用 BERT 预训练模型，通过最小化蒙版语言模型损失，实现在减少样本采样迭代和计算时间的同时，更高效地减少文本分类标注成本。

    Oct, 2020

  • IDoFew: 使用语言模型的双聚类中间训练进行少标签文本分类

    通过使用两阶段中间聚类和后续微调的方法，我们提出了一种新颖的模型 IDoFew，它可靠地建模伪标签，从而减少预测错误，并且相对于强大的对比模型有显著的改进。

    Jan, 2024

  • 自训练的零样本文本分类

    本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

    Oct, 2022

  • 非平衡分类场景下的冷启动主动学习策略

    该研究提出了一种新的主动学习策略，专门解决大量无标签数据的分类初始化问题，同时处理不平衡的上下文，通过使用元素分数结合从聚类结构提取的信息到标签传播模型来解决标签稀缺和不平衡问题。以 Twitter 内容注释为例，该方法有效地处理了类别不平衡问题，提高了少数类样本的召回率。

    Jan, 2022

  • 适应文本分类任务中性能与效率的权衡

    本文研究了不同的训练方法，使用预训练语言模型来进行文本分类。研究发现，在训练大型语言模型时，虽然标准微调和提示可以很好地运作，但是还有更有效的替代方法可以降低计算或数据成本。有趣的是，发现提示结合知识蒸馏可以同时降低计算和数据成本。

    Oct, 2022

  • 解决端到端自动语音评分中的冷启动问题

    本研究提出了一种在冷启动环境下具有鲁棒性的自动语音评分框架，使用自我监督学习方法，通过使用提示嵌入、问题上下文嵌入和预训练语音模型等方法解决了冷启动问题，并在评价已知内容方面优于基线。

    Jun, 2023

  • 对比自举用于标签细化

    本文基于对粗粒度分类注释的 fine-grained 分类与粗细映射的方法，提出了一种基于轻量级对比聚类的自举方法，用于迭代地精炼 passage 标签，并在 NYT 和 20News 数据集上得到了较大幅度的性能提升。

    Jun, 2023

  • 面向任务的预训练，提升对含噪标签的学习：非洲语言文本分类探究

    本文主要研究了如何应对在低资源语言中的文本分类中存在的标注噪声问题，并提出了一些噪声处理技术和使用任务自适应的预训练技术来解决这个问题。

    Jun, 2022