Jun, 2024

探索 Transformer 潜空间几何对下游任务性能的影响

PDF
TL;DR我们提出了一个新的方法，通过研究 BERT 类型模型的潜在空间的几何特征，来探索预训练对 GLUE 基准任务表现的影响，并发现潜在空间的量化细胞密度与 GLUE 性能有着强烈的线性关系，这些结果表明可以减少预训练要求，通过模型潜在空间的几何特征来初始化模型。
transformer-based large language modelspre-traininglinguistic knowledgeglue benchmarking tasklatent space representations
发现论文，激发创造
  • 可视化和测量 BERT 的几何形状

    本文描述了一种特别有效的模型 BERT，它能够通过从语义和句法子空间中提取一般有用的语言特征来代表语言信息，同时还探讨了注意力矩阵和单词嵌入中的句法表示，并提出了一种数学证明来解释这些表示的几何形态。

    Jun, 2019

  • 关于微调自然语言处理模型中潜空间的转换

    本研究通过无监督方法分析表示空间中的潜在概念，并考察了预训练模型和微调后模型间的相似性。结论显示：较高层次的潜在空间向任务特定概念演变，而较低层次则保留了预训练模型获得的通用概念；某些概念向输出类别具有极性，并可用于生成对抗性触发器。

    Oct, 2022

  • 上下文化词表示的低维线性几何

    本文研究了 ELMO 和 BERT 中的单词表示的线性几何，发现低维子空间编码了各种语言特征，包括结构化依赖关系，子空间之间存在着层次关系，可以用于对 BERT 的输出分布进行细粒度的操作。

    May, 2021

  • 旅行之词：Transformer 的几何解释

    通过引入新颖的几何视角，本文揭示了 Transformer 操作的内部机制，主要贡献在于说明层归一化将潜在特征限制在一个超球面上，从而使得注意力能够塑造单词在这个表面上的语义表示。通过对经过预训练的 124M 参数的 GPT-2 模型进行探究，我们的发现揭示了早期层中的清晰查询 - 键注意力模式，并在更深层次上进一步构建了关于注意力头部的特定主题性的先前观察。利用这些几何洞察，我们给出了 Transformer 的直观理解，将其描述为沿着超球面的词粒子的轨迹的建模过程。

    Sep, 2023

  • 语义对齐下的潜在空间翻译

    通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

    Nov, 2023

  • 大型 Transformer 模型的隐藏表示的几何学

    研究表明，transformers 在蛋白质语言任务和图像重建任务中的表示以非常相似的方式演化，从而呈现出数据流形在隐藏层中的几何和统计特性，而数据流形的语义结构在第一阶段触发。基于这些观察结果，建议使用内在维度作为无监督代理，以确定下游学习任务更合适的层次。

    Feb, 2023

  • 通过线性结构探测研究变压器句子嵌入的语义子空间

    以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

    Oct, 2023

  • 关于为何费心于几何？论变压器嵌入式的线性分解的相关性

    通过两种嵌入分解方法，研究机器翻译解码器的表示，结果表明分解导出的指标与模型性能有效相关，但不同运行之间的变化暗示了对这个问题更微妙的看法，测量结果的高变异性表明几何更多地反映模型特定的特征而不是句子特定的计算，并且类似的训练条件不能保证相似的向量空间。

    Oct, 2023

  • 迁移学习对深度自然语言处理模型中语言知识的影响？

    本文研究对先前已经预训练好的 Bert、RoBERTa 和 XLNet 等神经语言模型通过微调来改进下游自然语言处理任务的表现，并使用层级和神经元级别的诊断分类器来检查这些模型的语言知识的学习方式，发现这些模型对于不同的任务有不同的语言知识保留或遗忘方式，这种模式在三个模型中都有所不同。

    May, 2021

  • 将预训练 Transformer 适应于格上，以进行口语语言理解

    本篇论文旨在将 Transformer 预训练模型适应于格输入以执行口语理解任务，并在 ATIS 基准数据集上进行了实验，结果表明，将预训练的 Transformers fine-tuning 用于格输入比用于 1-best 结果有了显著改进，证明了方法的有效性。

    Nov, 2020