Dec, 2023

可观察传播：揭示变压器中特征向量的高效数据方法

PDF
TL;DR本文介绍了一种称为 “ObservablePropagation” 的新方法，用于在计算给定任务时找到变压器语言模型使用的线性特征，具有很少的数据，结果表明 ObservablePropagation 在低数据范围内优于传统方法，可以更好地理解大型语言模型中的偏见机制。
mechanistic interpretabilitylinear featurestransformer language modelsobservablepropagationbias in large language models
发现论文，激发创造
  • XAI for Transformers: 通过保守传递实现更好的解释

    本文讨论了使用梯度信息的 Transformer 解释性方法的效果不佳，识别输入特征对预测的贡献不可靠，提出了一种更稳定的方法，该方法可以被视为对 Transformer 的 LRP 方法的适当扩展，通过 Attention Heads 和 LayerNorm 层的更稳定传播， 在广泛的 Transformer 模型和数据集上实现了最先进的解释性能。

    Feb, 2022

  • Transformer 稳定了：一种端到端的信号传播理论用于语言模型

    通过开发统一的信号传播理论和提供控制转换模型中正向和反向信号时刻的公式，本研究致力于理解和缓解与高注意力分数相关的梯度消失 / 爆炸、秩坍缩和不稳定性。我们还提出了 DeepScaleLM，一种初始化和缩放方案，通过整个模型保持单位输出 / 梯度时刻，从而使得能够训练包含上百层的非常深的模型。在多个数据集和模型大小上，我们发现转换模型可以更深 - 我们的深度模型在语言建模、语音翻译和图像分类上优于浅层模型，在只编码器、只解码器和编码器 - 解码器变体以及 Pre-LN 和 Post-LN transformer 上均如此。这些改进也会提高下游问答任务的性能，以及图像分类的鲁棒性。

    Mar, 2024

  • 信号传播的几何动力学预测 Transformer 的可训练性

    深度随机初始化的 transformer 中的前向信号传播和梯度反向传播进行了研究，得出了初始化超参数的简单必要和充分条件，以确保 transformer 的可训练性。

    Mar, 2024

  • 朝向统一的关键帧传播模型

    该研究提出了一种双流方法，其中高频特征实现局部交互，低频特征实现全局交互，旨在解决全局注意力对于细节的无法恰当处理的困境，并在修补任务中对其进行了评估

    May, 2022

  • 通过特征重要性检索具有提升不变性的符号观测量

    利用 Boost 不变多项式进行高能物理中喷注标记的低维分类及物理相关观测量的分析。

    Jun, 2023

  • 面向部分观测的基于模型的控制传播网络

    本文介绍了 PropNet—— 一种可学习的动力学模型，能够在部分可观测场景下进行模型控制，并实现信号的即时传播。实验结果表明，与其他学习物理引擎相比，PropNet 的前向模拟性能更好，在各种控制任务中也表现出更高的性能。与现有的模型无深度强化学习算法相比，使用 Propagation Networks 实现模型控制更准确、有效，且更具普适性。

    Sep, 2018

  • 可追溯的小组级自优化特征转换学习：双重优化视角

    这篇研究论文讨论了如何通过强化学习来自动化特征转换，以解决维度灾难、数据稀疏性和模型泛化等问题，并提出了一种集成图形表示和增强学习技术的自优化框架来改进其效果和通用性。

    Jun, 2023

  • 少样本学习的本地传播

    本研究介绍了局部传播的方法，通过建立图来传播自身和标签，同时在少量数据情况下具有传导推断的能力，从而可以提高准确性。

    Jan, 2021

  • 对象查询传播在高性能视频对象检测中的应用

    本篇论文提出了一种名为 QueryProp 的视频物体检测特征传播框架，通过对象级特征传播策略和自适应传播门进行关键帧选择，实现了高准确率和高速度的检测。

    Jul, 2022

  • 通过邻域传播学习表格数据的增强表示

    本文提出了 PET 模型，通过超图与消息传递来增强目标数据表达，并融合标签和特征以及高阶特征交互来实现表格预测任务中的数据预测。实验验证了 PET 模型的优越性以及模型组件和功能增强能力。

    Jun, 2022