Jan, 2024

在标记零售银行交易过程中使用零点提示的自动创建和扩展主题分类系统

PDF
TL;DR通过使用基于指令的精调大型语言模型（LLMs），本研究提出了一种无监督方法来自动生成和扩展主题分类法。我们运用主题建模和关键词提取技术创建初始主题分类法，并使用 LLMs 对结果进行后处理以创建层次结构。为了通过新术语扩展现有分类法，我们使用零样本提示来确定在何处添加新节点，这是首次在分类任务中提出此种方法。我们使用生成的分类法为来自零售银行数据集的商户分配标签。为了评估我们的工作，我们请 12 位志愿者回答一个两部分的表格，首先评估创建的分类法质量，然后评估基于该分类法为商户分配的标签。评估结果显示所选分类法的一致性率超过 90％，而商户分配的平均一致性超过 80％。
unsupervised methodtopic taxonomiesllmskeyword extraction techniquestaxonomy tasks
发现论文，激发创造
  • 用户行为监督下的产品分类扩展：从所做的事情中学到所需的知识

    本文提出了一种自我监督和用户行为导向的产品分类法拓展框架，通过从现有的分类法和用户点击日志中抽取用户感兴趣的候选下义词关系并利用预训练语言模型和图神经网络结合对比学习来建模概念和关系，以自动将新概念附加到现有分类法，从而减少手动更新的人力成本。

    Mar, 2022

  • 从语言模型中提炼上下位关系：零样本分类的有效性研究

    本文分析基于提示和句子评分的语言模型知识提取的零样本分类学习方法，证明这些简单的方法在适当条件下优于一些有监督的策略，并且与当前的最新技术水平具有竞争力；同时说明提示的统计和语言学特性对下游性能有影响。

    Feb, 2022

  • 逼迫还是微调？大型语言模型在分类构建中的比较研究

    通过对大规模语言模型进行提示，可以在受限结构约束下构建符合要求的分类法，相比微调方法模型的性能更好，但处理由提示方法生成的分类法违规的情况具有挑战性。

    Sep, 2023

  • 基于分类的零射推荐与 LLMs

    利用分类词典为大型语言模型提供了一种新颖方法，通过将分类词典与模型结合，实现了高效的令牌利用和可控的特征生成，从而提升推荐质量。实验证明，与传统的零 - shot 方法相比，TaxRec 显著提升了推荐质量，展示了其作为个性化推荐器与大型语言模型的有效性。

    Jun, 2024

  • 利用大型语言模型探索零样本上位词预测的基于提示的方法

    该研究通过使用大型语言模型（LLMs）对零样本超级类别预测进行研究，基于文本概率计算方法，进行多种生成提示的应用。实验证明，语言模型提示的有效性与经典模式之间存在着强关联，这表明可以在使用较大模型之前，通过较小模型进行初步提示选择。我们还通过自动识别的共同下义词，探究了预测共同下义词和提高超级类别预测的提示增强方法。针对预测更高级概念，我们开发了一个迭代式方法，这进一步提高了 BLESS 数据集的质量（MAP = 0.8）。

    Jan, 2024

  • 大型语言模型用于主题建模

    我们提出了 PromptTopic，一种利用大型语言模型的先进语言理解能力从句子级别提取主题并将其汇总和压缩为预定数量的主题，从而消除了手动参数调整的需求并提高了提取主题的质量。我们在三个完全不同的数据集上与最先进的基线模型进行了比较，并展示了 PromptTopic 在发现有意义的主题方面的能力。此外，定性分析展示了 PromptTopic 在多个数据集中发现相关主题的能力。

    Dec, 2023

  • 开放领域的主题分类

    本论文介绍了一种开放领域的主题分类系统，能够在实时接受用户自定义层次结构并通过零样本学习利用预训练语言模型来分类文本片段，并在多个领域数据集上进行了评估。

    Jun, 2023

  • TaxoGen: 自适应术语嵌入与聚类的无监督主题分类构建

    本文提出了一种采用嵌入术和层次聚类方法的主题分类法 TaxoGen，通过每个节点表示概念主题，定义为语义一致概念项的聚类，以构建主题分类法，并对两个真实数据进行了实验，证明了其与基线方法的有效性。

    Dec, 2018

  • 零样本学习的灵活工作分类

    本文重点研究了零样本多标签文档分类在人力资源领域的实际税分类扩展情景下的应用，实验表明，相对于传统的多标签分类器，零样本分类器可以实现 12% 的平均精度（macro-AP）的增长。另外，本文还提出了采用推荐系统领域中的筛选 / 重排序分解技术可以显著降低性能非常高的零样本分类器的计算负荷。

    Aug, 2022

  • 找出父级，然后标记子级：使用预训练语言模型的两阶段分类法完成方法

    本文提出了名为 ATTEMPT 的两阶段方法，通过找到父节点并标记子节点的方式，将新概念插入正确的位置。利用预训练的语言模型进行上下位关系识别，通过合并本地节点和提示生成自然语句。实验结果表明，ATTEMPT 在分类系统补全和扩展任务上表现最佳，超过了现有方法。

    Jun, 2024