大型语言模型增强的聚类新闻事件检测
介绍了 ClusterLLM,一种新颖的文本聚类框架,它利用指导调整的大型语言模型(例如 ChatGPT)的反馈。通过与传统的无监督方法相比较,ClusterLLM 具有两个有趣的优势:(1)即使其嵌入不可访问,它也具有 LLM 的紧急能力;(2)通过文本指令和 / 或少量注释数据,他可以理解用户在聚类方面的偏好。
May, 2023
本文提出一种用于分类跨语言新闻的 incorporating clustering 模型,该模型使用跨语言向量表示新闻,使用 LDA 主题模型表示新闻内容,采用 Single-Pass 聚类算法进行优化,并利用知识蒸馏技术,将两个语义空间拟合为一个混合语义空间。
May, 2023
本研究聚焦于利用大型语言模型(LLMs)进行自动事件提取,介绍了一种新方法以解决幻觉问题,通过将任务分解为事件检测和事件参数提取,并将动态结构感知的增强检索示例集成到为每个具体查询定制的提示中,从而扩展和适应检索增强生成等先进提示技术。评估结果表明,与基线方法相比,该方法在突出的事件提取基准和合成基准测试中表现出卓越的性能。
Jun, 2024
本文介绍了 CALLMSAE,这是一个基于 CAscading Large Language Model 框架的关键事件图生成方法,它利用 LLMs 的能力,无需昂贵的人工注释。实验结果表明,该方法生成的关键事件图更准确,胜过竞争性基线模型。
Jun, 2024
通过使用大型语言模型(LLMs)的文本嵌入和聚类算法,该研究调查了文本聚类方法对数据集的影响,评估了嵌入对聚类结果的影响、通过摘要进行的维度降低的作用以及嵌入维度和摘要技术的调整。结果显示,LLMs 嵌入在捕捉结构化语言的细微差别方面表现出色,而 BERT 在性能方面领先于其他轻量级选择。此外,我们发现增加嵌入维度和使用摘要技术并不能统一提高聚类效率,暗示这些策略需要仔细分析才能在现实模型中应用。这些结果突显了在文本聚类应用中,需要权衡对细微差别的文本表示需要和计算可行性之间的复杂平衡。该研究通过引入 LLMs 嵌入,扩展了传统文本聚类框架,从而为改进方法学和在各种类型的文本分析中开辟了新的研究方向。
Mar, 2024
本研究旨在探讨大型语言模型(LLMs)在主题提取方面的潜力,并建立评估协议以评估 LLMs 的聚类效果。通过深入实验与评估,总结了采用 LLMs 进行主题提取的优势和限制。
Mar, 2024
通过关注文章中提到的实体、主题及其与具体事件的历史联系,提出一种优化新闻嵌入生成的轻量级方法,包括事件、实体和主题的提取、时态分离 GloVe 模型的周期性时间嵌入生成以及使用 Smooth Inverse Frequency 和 Siamese 神经网络相结合生成新闻嵌入。我们的实验证明,该方法显著提高了所有任务和数据集上的 Precision-Recall AUC,相对于 SIF 方法和半监督方法,日常共享事件检测任务的平均 PR AUC 改进了 2.15% 和 2.57%,月度共享事件检测任务的 PR AUC 改进了 2.57% 和 2.43%。
May, 2024
使用大型语言模型从时态复杂事件中提取和分析关键点和时间戳,建立了评估时态动态和理解大量文本的基准。实验证明,采用合适的信息检索和长上下文窗口的模型在处理时态复杂事件的长篇新闻文章时表现出可比较的性能。
Jun, 2024
本文研究了大语言模型在半监督聚类中改善聚类效果的应用方法,发现在输入特征和聚类过程中加入大语言模型可以获得显著的聚类效果改进,同时可以帮助用户在精度和成本之间进行权衡,实现所需聚类。
Jul, 2023
通过多轮检索策略从网络源自动抽取关键证据进行主张验证的检索增强 LLMs 框架是第一种能自动地并有目的性地从网页信息中提取关键证据的框架,通过在三个现实世界数据集上进行全面的实验证明了该框架对现有方法的优越性。重要的是,我们的模型不仅提供准确的结论,还提供可读的解释,以提高结果的可解释性。
Mar, 2024