Jun, 2024

稀疏自编码器的扩展和评估

PDF
TL;DR稀疏自编码器通过重构来自稀疏瓶颈层的激活，提供了一种从语言模型中提取可解释特征的有前途的无监督方法。我们提出使用 k - 稀疏自编码器来直接控制稀疏性，简化调整并改进重构 - 稀疏性的界限，并引入一些评估特征质量的新度量标准，这些度量标准在自编码器的规模大小上通常会有所改善。
sparse autoencodersinterpretable featureslanguage modelk-sparse autoencodersscaling laws
发现论文，激发创造
  • 稀疏自编码器发现语言模型中的高度可解释特征

    使用稀疏自编码器识别语言模型内部的方向，以消除超级位置现象，并达到模型的透明度和可操控性。

    Sep, 2023

  • 基于稀疏自编码器的可扩展可靠电路识别在语言模型中的应用

    介绍了一种使用离散稀疏自编码器在大型语言模型中发现可解释电路的高效且健壮的方法，通过训练稀疏自编码器，我们能够从仅有的正例中直接识别与电路相关的注意力头，实现了较高的准确率和召回率，同时降低运行时间。

    May, 2024

  • 通过门控稀疏自编码器改进字典学习

    通过引入 Gated Sparse Autoencoder，文章解决了稀疏自编码器中的估计偏差问题，实现了对语言模型激活的解释性特征的无监督发现。

    Apr, 2024

  • k - 稀疏自编码器

    本研究旨在探讨通过鼓励稀疏性来学习表示的有效性，提出了一种名为 k-sparse 自编码器的方法，该方法取得了比其他方法更好的 MNIST 和 NORB 分类结果。

    Dec, 2013

  • 通过自归一化 ReLU 实现的关键自动编码器

    稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而，当测试时输入噪声与训练过程中使用的噪声不同时，其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题，并提出了一个优化问题，导致了预测模型在测试时对噪声水平具有不变性。换句话说，同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法，将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性，我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明，与常用的架构相比，训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。

    Jun, 2024

  • 使用稀疏自编码器解释注意力层输出

    稀疏自编码器被应用于解释训练好的 Transformer 模型的内部激活值，发现它们能够找到一种稀疏而可解释的分解表示，从而帮助研究人员更详细地解释模型行为，并深化对电路语义的理解。

    Jun, 2024

  • 自编码器在临床记录表示学习中的稀疏性降维适应

    通过使用自动编码器学习算法对稀疏高维数据进行压缩，实现对临床笔记的表征特征空间的稀疏性减少，从而提高分类器的分类性能，最终该分类器在检测患者状况时的准确率可达到 92%，召回率、精确率和 f1-score 均为 91%。此外，理论信息瓶颈框架也被应用于该压缩工作机制和自动编码器预测过程的演示。

    Sep, 2022

  • 朝着基于原则的稀疏自编码器的解释性和控制性评估

    我们提出了一个评估特征字典的框架来解决解释性中地实际问题缺乏基本事实的问题，并应用该框架到间接对象识别任务中使用 GPT-2 Small，发现虽然稀疏自编码器可以捕捉到可解释的特征，但是它们对于控制模型的成功程度不如受监督的特征，并观察到在自编码器训练中存在的两个定性现象：特征遮挡和特征过度拆分。希望我们的框架能对稀疏字典学习方法的客观评估提供有用的步骤。

    May, 2024

  • V1 的稀疏几何自编码器模型

    该论文提出了一种基于自编码器的结构稀疏方法，可以更好地匹配灵长类数据，使用加权 L1 约束的自编码器目标函数保留了稀疏编码框架的核心思想。

    Feb, 2023

  • 缩放 Transformers 中的稀疏已足够

    本研究提出了一种用于构建下一代 Transformer 模型的方法，即利用稀疏层进行有效缩放和高效执行非批量解码。结果表明，这种模型在拥有相同参数数量的情况下，可以获得与标准 Transformer 相同的效果，并且在长文本摘要方面表现优异。

    Nov, 2021