Jun, 2023

NLP Transformer 中的双螺旋结构

PDF
TL;DR本研究提出了通过分析 NLP Transformer 中的不同信息类型的框架，并通过 Linear-and-Add 方法优化位置信息嵌入，发现位置信息具有深度分离特征，进而证明其对于 encoder 处的词性聚类和 decoder 处的下一个 token 的词性聚类具有启发意义。
nlp transformerpositional informationlinear-and-add approachpart-of-speech clustersdeep layers
发现论文，激发创造
  • 通过线性结构探测研究变压器句子嵌入的语义子空间

    以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

    Oct, 2023

  • 通过解耦位置和上下文揭示 Transformer 中的隐藏几何结构

    通过将训练后的 Transformer 的隐藏状态或嵌入分解成可解释的组件，本文介绍了一种简单而有信息量的方法，揭示了输入格式在上下文学习和算术任务中的结构洞察。

    Oct, 2023

  • Transformers 中的位置信息：概述

    本文综述了如何将位置信息整合到 Transformer 模型中，以比较不同方法在重要模型维度上的优劣，以及指出在选择位置编码时应考虑的应用特性，并为未来的研究提供刺激。

    Feb, 2021

  • 句子嵌入是否存在可识别的结构部分

    利用转换模型的句子嵌入可以编码大量语言信息，探索了这些嵌入是否包含可以分离的重叠信息层，并且可以检测特定类型的信息，如块和它们的结构和语义属性信息。通过使用包含已知块结构的句子数据集和两个语言智能数据集，解决依赖于检测块及其语法数量和语义角色的任务，并通过对任务表现和学习过程中构建的内部表示的分析，证明了这一点。

    Jun, 2024

  • 打开西门子：深入探讨 BERT 的语言知识

    本文探讨了 BERT 对句法层次结构、位置信息以及自注意力向量的编码，并发现 BERT 在较低的层次上良好地编码了位置信息，在较高的层次上则更倾向于编码层次结构，这表明 BERT 的表示法确实模拟了语言的一些层次结构，并且对于处理反身代词的普遍敏感性没有人类大脑那么强。

    Jun, 2019

  • Transformer 的简单有效位置编码

    本文介绍了一种新的机制 ——Decoupled Positional Attention，将位置和段信息编码为 Transformer 模型，提高了训练和推理效率，在 GLUE、XTREME 和 WMT 基准测试中实现了竞争性表现，并进一步将该方法推广到远程的 transformers，显示了性能提升。

    Apr, 2021

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 自然语言多任务：分析和提高隐藏表示的句法显著性

    训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

    Jan, 2018

  • BERT 上语法信息编码的演进

    本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。

    Jan, 2021

  • 基于维度选择的内在探测

    本文讨论了自然语言处理系统中之前探测语言结构方法的缺陷，并提出了基于多元高斯探针的内在探测框架，以便于检测词向量的语言信息。通过 36 种语言的实验证明，多数形态语法特征由少数神经元可靠编码，而 fastText 相较于 BERT 更加集中其语言结构。

    Oct, 2020