ACLJun, 2024

安娜・卡列尼娜再次出击：预训练 LLM 嵌入可能偏好高绩效学习者

PDF
TL;DR使用预训练的 LLM 嵌入将学生对开放性问题的回答无监督地聚类为行为和认知特征集合是一种新兴技术，研究者对它们如何捕捉教学上有意义的信息知之甚少。本研究通过对生物学中学生对开放性问题的回答进行分析和聚类，发现纯数据驱动的聚类技术发现的大多数 Knowledge Profiles (KPs) 的可发现性较差，除了包含正确答案的 KP。我们将这种 “可发现性偏差” 追溯到预训练 LLM 嵌入空间中 KP 的表征。
发现论文，激发创造
  • 使用 LLM 嵌入进行文本聚类

    通过使用大型语言模型（LLMs）的文本嵌入和聚类算法，该研究调查了文本聚类方法对数据集的影响，评估了嵌入对聚类结果的影响、通过摘要进行的维度降低的作用以及嵌入维度和摘要技术的调整。结果显示，LLMs 嵌入在捕捉结构化语言的细微差别方面表现出色，而 BERT 在性能方面领先于其他轻量级选择。此外，我们发现增加嵌入维度和使用摘要技术并不能统一提高聚类效率，暗示这些策略需要仔细分析才能在现实模型中应用。这些结果突显了在文本聚类应用中，需要权衡对细微差别的文本表示需要和计算可行性之间的复杂平衡。该研究通过引入 LLMs 嵌入，扩展了传统文本聚类框架，从而为改进方法学和在各种类型的文本分析中开辟了新的研究方向。

    Mar, 2024

  • 通过预训练问题嵌入改进知识追踪

    本研究提出使用基于神经网络的乘积模型为辅助信息预训练题目嵌入向量，并使用这些向量进行知识追踪，证明了这一方法的有效性。

    Dec, 2020

  • 词嵌入再探讨：LLMs 是否提供新的东西？

    通过比较经典词嵌入技术与大型语言模型的词嵌入之间的潜在向量语义，系统地调查了大型语言模型是否在表现上与经典编码模型存在显著差异。结果显示，大型语言模型往往比经典模型更紧密地聚集语义相关的词，并在 Bigger Analogy Test Set (BATS) 上取得更高的平均准确率。此外，一些大型语言模型的词嵌入与相对较轻的句子级 BERT (SBERT) 模型相似。

    Feb, 2024

  • 用户 - LLM: 基于用户嵌入的高效 LLM 语境化

    利用用户嵌入来上下文化大型语言模型，实现显著性能提升。

    Feb, 2024

  • 通过询问 LLMs 提出易于解释的嵌入

    通过利用大型语言模型（LLMs）生成的问答嵌入向量（QA-Emb）可以灵活生成可解释的用于预测 fMRI 核心响应的模型，从而深入评估我们对语义性大脑表示的理解。

    May, 2024

  • 关于在持续预训练中有效地学习知识

    通过定义知识裸露和无知识 token 并对样本进行专业标注，该研究发现 PLMs 在从非结构化文本中获取知识方面存在困难并开发了两种解决方案来帮助模型进行更多的知识自学习，实验证明了这些方法的有效性，是第一次探索做到完全自我监督的知识连续预训练。

    Apr, 2022

  • 通过聚类表示，使预训练语言模型成为更好的零样本学习器

    本文通过将聚类方法应用于提前训练的语言模型的嵌入空间中，展示了在主题和情感分类数据集上，该方法在无需另作准备的情况下显著提高了零 - shot 文本分类的性能；并发现该方法不需要 Fine-tuning 就可以将文本分类；最后，文章还比较了不同 PLM 嵌入空间，并发现即使 PLM 未明确预训练为生成有意义的句子嵌入，它仍然能按主题将文本很好地聚类。

    Oct, 2022

  • 预训练语言模型表示的潜空间聚类进行主题发现

    本文提出了一种基于 PLM 嵌入的联合潜在空间学习和聚类框架，通过联合建模主题 - 单词和文档 - 主题分布，有效地利用 PLMs 在主题发现方面的强大表示能力和出色语言特征，并在两个基准数据集上生成了比强劲的主题模型更加连贯、多样的主题，并提供更好的基于主题的文档表达形式。

    Feb, 2022

  • 深度 NLP 模型中潜在概念的拓展发现

    该研究比较了三种聚类算法：凝聚层次聚类、领导算法和 K-Means 聚类，发现 K-Means 具有潜力在单词和短语层面上对编码概念进行大规模发现。

    Aug, 2023

  • ClusterLLM：将大语言模型用作文本聚类的指南

    介绍了 ClusterLLM，一种新颖的文本聚类框架，它利用指导调整的大型语言模型（例如 ChatGPT）的反馈。通过与传统的无监督方法相比较，ClusterLLM 具有两个有趣的优势：（1）即使其嵌入不可访问，它也具有 LLM 的紧急能力；（2）通过文本指令和 / 或少量注释数据，他可以理解用户在聚类方面的偏好。

    May, 2023