Feb, 2023

前馈模块控制遮蔽语言模型中的语境化

PDF
TL;DR通过对 Transformer 模型内部结构的分析，探讨了每个组件对文本语境化的作用，实验发现每个组件都对不同程度的语境化产生了影响，并且有些组件的作用相互抵消，更新了我们关于 Transformer 层各个组件作用的常见认识。
neural network modelstransformer-based modelsattention mechanismscontextualizationfeed-forward block
发现论文，激发创造
  • 将残差和归一化层引入掩码语言模型分析中

    通过全面分析 Transformer 架构（多头注意力、残差连接和层归一化）来研究其性能表现，发现中间表示的交互通过注意力执行的作用比先前假定的要小，并提供了新的直观解释。

    Sep, 2021

  • 带有上下文块处理的 Transformer 语音识别

    本文介绍了一种基于块处理的 Transform self-attention 网络用于语音识别的新方法，通过引入上下文 - aware 继承机制和一种新的掩码技术，有效地编码本地和全局信息，实验结果表明，该方法显著优于朴素块处理方法。

    Oct, 2019

  • Transformer 前馈层即键值内存

    通过实验我们发现，transformer 模型中的前馈层作为键值内存操作，其键与训练示例中的文本模式相关，并且每个值在输出词汇表上引入一个分布。同时利用残差连接使得前馈层的输出分布集中于出现在每个模式后的可能出现的标记。

    Dec, 2020

  • 使用遮蔽注意力生成探测大脑上下文敏感性

    利用 GPT-2 变形金刚生成的单词嵌入来测试大脑对自然文本中背景信息的反应，结果表明语言网络中的大多数皮层对背景信息敏感，右半球对于较长场景的反应比左半球更敏感，支持以前的上下文敏感度分析并有助于量化每个体素的上下文整合窗口大小。

    May, 2023

  • 变压器前馈层通过在词汇空间中促进概念来建立预测

    通过反向工程变压器模型中的前馈神经网络层的运算过程，分析其词汇空间中的更新，控制预测结果，提高计算效率。

    Mar, 2022

  • 解释 Transformer 如何利用上下文来建立预测

    本文使用 Transformer 的最新可解释性进展提出了分析语言生成模型的过程，并使用对比实例比较了我们的方法与渐变和扰动基线的解释的一致性，结果表明我们的方法具有更好的表现。最后，我们将该方法应用于神经机器翻译模型，并展示了生成人类相似的源 - 目标对齐结果的能力。

    May, 2023

  • 块级 Transformer：全局到局部的语言建模以提高快速推理能力

    通过采用分层的全局到局部建模的方法，本研究提出了块变压器架构，以缓解自注意力所带来的推理瓶颈。通过在较低层应用快速局部建模和在较高层应用全局建模，以减轻与全局上下文相关的计算代价，并通过聚合输入令牌来降低较低层的计算代价，在没有全局注意力瓶颈的情况下，较高层可以充分利用计算硬件以最大化推理吞吐量，并优化了语言模型推理过程。

    Jun, 2024

  • 自注意力何时可被前馈层替代？

    使用前馈网络替代自注意力模型的编码器中的上层自注意力层，不会造成语音识别性能降低，在较低的自注意力层对输入进行编码已足够获取丰富的上下文信息。

    May, 2020

  • 揭示 Transformer 模型中的多语言性：探索前向网络中的语言特征

    通过分析 Transformer 中的前向模块，研究表明其可以被视为一系列键值记忆，提出了关于多语言模型中神经元对不同语言的响应不平等的假设，并通过实验证实了此假设。

    Oct, 2023

  • 分析 Transformer 语言模型中的注意力结构

    本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽取了展现特定关注头目标的范例句子。

    Jun, 2019