EMNLPOct, 2022

关于微调自然语言处理模型中潜空间的转换

PDF
TL;DR本研究通过无监督方法分析表示空间中的潜在概念，并考察了预训练模型和微调后模型间的相似性。结论显示：较高层次的潜在空间向任务特定概念演变，而较低层次则保留了预训练模型获得的通用概念；某些概念向输出类别具有极性，并可用于生成对抗性触发器。
latent spacenlp modelshierarchical clusteringpre-trained modelstask-specific information
发现论文，激发创造
  • 深度 NLP 模型中潜在概念的拓展发现

    该研究比较了三种聚类算法：凝聚层次聚类、领导算法和 K-Means 聚类，发现 K-Means 具有潜力在单词和短语层面上对编码概念进行大规模发现。

    Aug, 2023

  • 分析 Transformer 语言模型中的编码概念

    本文提出了一个新颖的框架 ConceptX，利用聚类发现预训练语言模型中编码的潜在概念，并通过与大量人类定义的概念进行对齐进行解释。它在七个变压器语言模型上的分析揭示了有趣的见解：i）学习表示中的潜在空间以不同的程度与不同的语言概念重叠，ii）模型中的较低层由词汇概念（例如，词缀）主导，而核心语言概念（例如，形态或句法关系）在中高层中更好地表示，iii）一些编码的概念具有多面性，无法用现有的人类定义概念充分说明。

    Jun, 2022

  • 语义对齐下的潜在空间翻译

    通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

    Nov, 2023

  • 语言模型中的概念形成与对齐：将潜在空间中的统计模式与概念分类框架联系起来

    该研究探讨了语言模型内的概念形成和对齐，提出了一种识别语言模型中概念和它们之间层次组织的机制，从 Glove 到 ALBERT 和 T5 等不同的语言模型，利用这些模型生成的语义嵌入中的内在结构提取出概念的分类和层次关系，从而揭示了语言模型如何发展概念理解，并为进一步改善它们的推理能力和运用真实世界知识的能力开启了研究之门。同时，我们进行了实验证明了从基于 transformer 的语言模型中独立提取这些抽象概念表示的可能性。通过观察到的概念形成以及将概念表示从推理模块中隔离出来，可以实现有针对性的标记工程，为知识转移、可解释的人工智能和开发更模块化、概念基础的语言模型带来潜在应用。

    Jun, 2024

  • 利用 LLMs 对实体在概念空间维度进行排名：关于微调策略的分析

    通过使用可用的特征为训练数据，并分析这些模型的排名能力是否可以转移到感知和主观特征上，我们发现在一定程度上是可以的，但在训练数据中包含感知和主观特征似乎是实现最佳结果的关键，此外，我们还发现点对点的排名策略与常识相悖，并且能与成对的方法竞争。

    Feb, 2024

  • 探索 Transformer 潜空间几何对下游任务性能的影响

    我们提出了一个新的方法，通过研究 BERT 类型模型的潜在空间的几何特征，来探索预训练对 GLUE 基准任务表现的影响，并发现潜在空间的量化细胞密度与 GLUE 性能有着强烈的线性关系，这些结果表明可以减少预训练要求，通过模型潜在空间的几何特征来初始化模型。

    Jun, 2024

  • 预训练语言模型表示的潜空间聚类进行主题发现

    本文提出了一种基于 PLM 嵌入的联合潜在空间学习和聚类框架，通过联合建模主题 - 单词和文档 - 主题分布，有效地利用 PLMs 在主题发现方面的强大表示能力和出色语言特征，并在两个基准数据集上生成了比强劲的主题模型更加连贯、多样的主题，并提供更好的基于主题的文档表达形式。

    Feb, 2022

  • 深入探究微调如何改变 BERT

    本文探讨了使用预训练的上下文相关表示的细调方法对词嵌入空间的影响，并使用两种探测技术分析英语 BERT 系列的细调。作者得出了一些结论，其中包括细调会通过增加相关标签的示例之间的距离来影响分类性能，还发现了一个对 “细调总是提高性能” 的普遍看法的例外，并且发现细调不会引入任意更改，而是在保留数据点的原始空间结构的同时将其调整到下游任务。

    Jun, 2021

  • 发现 BERT 学习的潜在概念

    此文探讨深度神经网络模型中学习的潜在观念，以及与传统的语言学层次的对比分析，并发现存在偏见的潜在观念并提供数据集（BCN）支持这些结论。

    May, 2022

  • 子空间编年史：语言信息在语言模型训练中的产生、转变和交互

    利用信息论探测套件，我们分析了 9 项任务，涵盖语法、语义和推理，在 2 百万次预训练步骤和 5 个种子中，识别了关键学习阶段，语法知识在全面训练的 0.5% 后迅速获得，持续性能改善主要来自对开放域知识的获取，而语义和推理任务则受益于后期对长距离语境化和更高专业化的提升，跨任务相似性的测量进一步揭示了语言相关任务在训练期间共享信息，这在关键学习阶段比之前或之后更为明显。我们的发现对模型可解释性、多任务学习和有限数据学习具有重要意义。

    Oct, 2023