ICLRJun, 2020

BERT 与生物学相遇：解析蛋白质语言模型中的注意力

PDF
TL;DR本研究通过注意力机制探索分析蛋白质 Transformer 模型，展示其捕捉蛋白质折叠结构，定位蛋白质功能性区域，以及随着层数增加逐渐关注复杂生物物理特性等行为，结果表明三种 Transformer 架构对此表现一致，并提供蛋白质结构和注意力之间的三维可视化交互。
transformer architecturesprotein classificationattentionprotein structurevisualization
发现论文，激发创造
  • 分析 Transformer 语言模型中的注意力结构

    本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽取了展现特定关注头目标的范例句子。

    Jun, 2019

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • 代码语言模型中注意力的自然性再探

    通过分析 CodeBERT 中的注意力分布和转换表示，本研究发现除了注意力权重之外，输入的缩放变换规范更好地捕捉到语法结构，从而揭示了 CodeBERT 嵌入语法代码属性的特征，为深入理解神经代码模型以及在程序分析中开发更具解释性的模型和有效使用注意力机制奠定了基础。

    Nov, 2023

  • 利用 Transformer 神经网络同时考虑序列和结构进行蛋白质预测任务

    本研究通过转换神经网络来实现蛋白质序列与三级结构的联合表示，进而提高了与功能相关的预测任务的表现，包括超家族成员预测。

    Jun, 2022

  • 探寻 Transformer 模型在蛋白质功能预测中的内部机制

    我们探索了可解释的人工智能（XAI）如何帮助揭示神经网络在蛋白质功能预测中的内部运作，通过扩展广泛使用的 XAI 方法 —— 集成梯度，使得可以检查 Gene Ontology 术语和酶委员会编号预测中微调的 Transformer 模型内部的潜在表示。

    Sep, 2023

  • Transformer 模型中的注意力的多尺度可视化

    通过使用注意力机制，Transformer 模型不仅在性能上有所提升，同时还可通过可视化工具展示模型如何赋权于不同的输入元素，从而实现模型的解释和解读，本文提出了一种开源的基于多尺度可视化注意力机制的工具，并在 BERT 和 OpenAI GPT-2 上进行了演示，包括检测模型偏差、定位相关注意力头和链接神经元到模型行为等三个应用案例。

    Jun, 2019

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • 注意力可以反映句法结构 (如果你允许)

    本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。

    Jan, 2021

  • 拓扑 BERT：将注意力转化为拓扑以用于自然语言处理

    本研究介绍了一种使用拓扑数据分析的文本分类器。我们使用 BERT 的关注映射转换为关注图作为该分类器的唯一输入。该模型可以解决区分邮件的垃圾邮件和普通邮件等任务，并在某些任务上表现出优于 BERT 基线的性能。此外，我们提出了一种新的方法来减少涉及拓扑分类器的 BERT 注意力头的数量。我们的工作还显示，拓扑模型在对抗性攻击方面表现出更高的鲁棒性，这一特性在减少注意力头的过程中保持不变。据我们所知，这项工作是在 NLP 领域中首次使用基于拓扑的模型来应对对抗性攻击。

    Jun, 2022

  • 分子注意力变换器

    通过在 Transformer 中使用原子间距离和分子结构来扩充注意力机制，我们提出了 Molecule Attention Transformer（MAT）神经网络模型，其可以在一系列不同的分子预测任务中以竞争优势表现。并且，我们展示了一个简单的自监督预训练可以让 MAT 以很少的超参数调整就达到最新技术水平，并且 MAT 学习到的注意力权重可以从化学角度解释。

    Feb, 2020