Feb, 2024

FLAME: 利用大型语言模型进行无监督低资源分类体系扩展

PDF
TL;DR在缺乏资源的环境中，通过利用大型语言模型的能力，本文提出了一种名为 FLAME 的新颖方法用于进行分类体系扩展，该方法利用少量样本中的提示来提取语言模型内在的知识，并采用强化学习对其进行微调，从而实现更准确的预测。实验表明，FLAME 在真实场景中取得了显著的改善，在八个基准测试上准确性提高了 18.5%，Wu & Palmer 指标提高了 12.3%。此外，通过广泛的案例研究、误差分析和消融研究，我们阐明了 FLAME 的优点和缺点。
发现论文，激发创造
  • 大型语言模型是否能取代分类法？

    大型语言模型（LLM）在一般知识上表现出色，但在细致的长尾知识上表现不佳，该研究问传统的知识图谱是否应该被 LLMs 取代，通过构建名为 TaxoGlimpse 的新型基准对 LLMs 在各种领域的不同层级的专业知识和叶级实体的性能进行评估，验证了 LLMs 仍然不能很好地捕捉专业知识和叶级实体的知识。

    Jun, 2024

  • FLAME：适用于电子表格公式的小型语言模型

    FLAME 是一个基于 T5 的模型，通过在 Excel 公式中利用领域洞察力， using sketch deduplication，introduce an Excel-specific formula tokenizer and use domain-specific versions of masked span prediction and noisy auto-encoding aspretraining objectives，将模型数量大幅减少（60M parameters）和训练数据量两个数量级。FLAME 优于 Codex-Davinci（175B），Codex-Cushman（12B）和 CodeT5（220M）等较大的模型，可广泛应用于公式修复、公式自动完成以及语法重构等方面。

    Jan, 2023

  • 逼迫还是微调？大型语言模型在分类构建中的比较研究

    通过对大规模语言模型进行提示，可以在受限结构约束下构建符合要求的分类法，相比微调方法模型的性能更好，但处理由提示方法生成的分类法违规的情况具有挑战性。

    Sep, 2023

  • 多语言大语言模型：资源、分类和前沿视角综述

    综述多语种大规模语言模型的研究进展、新兴趋势，并提供丰富资源以促进相关研究。

    Apr, 2024

  • 知识融合与大型语言模型的趋势：方法、基准和应用的调查和分类

    通过综述知识融入大型语言模型的趋势、方法分类、基准和应用，本文概述了该研究领域的全貌，并指出了未来的研究方向。

    Nov, 2023

  • TaxoExpan: 利用位置增强的图神经网络进行自监督分类扩展

    本文提出了一种名为 TaxoExpan 的自我监督框架，使用一组 <查询概念，锚定概念> 对从现有分类法中自动生成的训练数据。通过使用这种自我监督数据，TaxoExpan 学习模拟预测查询概念是否为锚定概念的直接下位词的模型，并提出了两个创新技术：（1）增强位置的图神经网络，用于编码现有分类法中锚定概念的局部结构；（2）噪声鲁棒训练目标，使学习模型不受自我监督数据标注噪声的影响。实验结果表明，TaxoExpan 对于分类法扩展具有高效性和有效性。

    Jan, 2020

  • 用户行为监督下的产品分类扩展：从所做的事情中学到所需的知识

    本文提出了一种自我监督和用户行为导向的产品分类法拓展框架，通过从现有的分类法和用户点击日志中抽取用户感兴趣的候选下义词关系并利用预训练语言模型和图神经网络结合对比学习来建模概念和关系，以自动将新概念附加到现有分类法，从而减少手动更新的人力成本。

    Mar, 2022

  • 面向数据的金融大型语言模型

    通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

    Oct, 2023

  • HyperExpan：基于双曲线表示学习的分类学扩展

    本文提出的 HyperExpan 算法是一种基于超平面嵌入（Hyperbolic space）的 taxonomy expansion 自动扩展算法，运用了超图神经网络和位置嵌入技术，通过表征概念及其关系来扩展现有分类体系的覆盖范围，并在分类扩展基准测试中取得最优性能。

    Sep, 2021

  • 通过图表示学习，理解关于大型语言模型的综述论文分类

    我们开发了一种方法来自动将调查论文分配给一个分类体系，在 144 篇大型语言模型调查论文的元数据的基础上，我们探索了三种范式来分类分类体系中的论文。我们的研究表明，在两种范式中，利用共同类别图的图结构信息可以明显优于语言模型。我们发现我们的模型超过了人类的平均识别水平，而使用由较小模型生成的弱标签进行大型语言模型的微调，如本研究中的 GCN，比使用地面真实标签更有效，揭示了在分类任务中从弱到强的泛化潜力。

    Feb, 2024