Apr, 2022

牙刷在厨房里做什么？变形金刚如何认为我们的世界被构建

PDF
TL;DR本文使用前人关于 transformer-based models 偏见的研究，比较了 contextualized models 和 static models 在知识抽取上的差异，发现在不同的相似性分类器应用下，这两种 models 的效果有很大不同。此外，与预期不同的是，static models 甚至比 contextualized models 更好地表现出了对 object relations 的知识抽取能力。
发现论文，激发创造
  • Transformer 简介：自然语言处理视角

    介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。

    Nov, 2023

  • 解释 Transformer 如何利用上下文来建立预测

    本文使用 Transformer 的最新可解释性进展提出了分析语言生成模型的过程，并使用对比实例比较了我们的方法与渐变和扰动基线的解释的一致性，结果表明我们的方法具有更好的表现。最后，我们将该方法应用于神经机器翻译模型，并展示了生成人类相似的源 - 目标对齐结果的能力。

    May, 2023

  • 变形金刚的诞生：记忆视角

    本研究使用合成机制来考察 transformers 在处理全局信息与上下文信息时的权衡，发现这些模型相对较快地学习了全局信息，但对于上下文信息中的二元组的识别则较慢，同时探究了权重矩阵作为联想记忆的作用以及梯度如何使其在训练时进行学习的理论机制，同时研究了数据分布属性的作用。

    Jun, 2023

  • 自然语言处理中 Transformer 的效率综述

    该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。

    May, 2024

  • Transformer 模型中的文本相似度解释

    通过利用改进的解释，在语义相似性任务和模型中进行深入分析和语料库级别洞察，并使用分层相关传播（LRP）来验证结果解释的有效性，本研究探索了驱动语义相似性的特征相互作用。

    May, 2024

  • 语言模型行为：综合调查

    调查了 250 多个英文语言模型行为的研究，讨论了 Transformer 语言模型在特定任务微调之前的基本功能，以及模型对特定输入和表面特征的敏感性。尽管模型参数规模扩大到数百亿，但仍容易出现非事实性回答、常识错误、记忆文本和社会偏见等弱点。我们综合近期结果，强调了目前关于大型语言模型能够和不能够做到什么的已知情况。

    Mar, 2023

  • Transformer 模型的数学视角

    该研究通过将 Transformers 解释为相互作用的粒子系统，提供了一种数学框架，揭示了长时间内聚集体的出现，并探索了相关的理论，为数学家和计算机科学家提供了新的视角。

    Dec, 2023

  • BERT 对 NLP 的意义相当于 AlexNet 对 CV：预训练语言模型如何识别类比？

    本文研究基于 transformer 的语言模型在识别类比方面的能力，并使用从教育环境中获取的基准数据集以及更常用的数据集进行分析。结果发现，预训练的语言模型能够在一定程度上识别出类比，但对于抽象和复杂关系的处理仍然存在挑战，且结果高度敏感于模型架构和超参数。整体而言，GPT-2 和 RoBERTa 的表现较好，而使用 BERT 的配置无法胜过词嵌入模型。这些研究结果提出了未来工作的重要问题，即预训练的语言模型如何以及在多大程度上捕捉抽象语义关系的知识。

    May, 2021

  • Transformer 语言模型可以使用哪些上下文特征？

    通过在 Transformer 语言模型上进行一系列实验，我们发现对于当前 Transformer 语言模型的低困惑度，长上下文至关重要，但上下文的详细句法和命题内容并不重要，且在中长程上下文中，包括重新排列句子中的单词和删除除名词以外的所有单词在内的多种极端破坏性上下文操作仅会移除不到 15％的可用信息。

    Jun, 2021

  • 变形金刚对政府了解多少？

    该论文研究了语言特征和自然语言结构的编码在 Transformer 语言模型中可以获得的洞察力，特别是探讨了 BERT 如何编码句子中成分之间的关系。我们使用多个探测分类器和两种形态丰富的语言数据进行实验，结果表明，Transformer 的所有层都编码了关于成分关系的信息，但主要在模型的早期层中。同时，我们发现，对于这两种语言，少数注意力头足够编码关于成分关系的信息，使得我们能够训练一个能够发现以前未见过的新类型政府关系的分类器。目前，研究语法结构尤其是政府关系的研究界缺乏数据，我们发布了 Government Bank 数据集，定义了我们实验语言中成千上万个词形的政府关系。

    Apr, 2024