句子编码器表示的高阶比较

EMNLPSep, 2019

Higher-order Comparisons of Sentence Encoder Representations

Mostafa Abdou, Artur Kulmizev, Felix Hill, Daniel M. Low, Anders Søgaard

TL;DR论文介绍了一种称为 RSA 的技术，可以比较不同测量模式下（例如 fMRI、电生理学和行为学）的活动模式，展示了 RSA 的实用性，并通过眼动数据建立了先前未知的预先训练的语言编码器和人类处理难度之间的对应关系，展示了它作为神经模型可解释性工具箱的潜力。

Abstract

representational similarity analysis (RSA) is a technique developed by neuroscientists for comparing activity patterns of different measurement modalities (e.g., fMRI, electrophysiology, behavior). As a framework, RSA has several advantages over existing approaches to interpretation of

representational similarity analysis measurement modalities language encoders pretrained language encoders neural models

发现论文，激发创造

语言的神经和符号表示的相关性

本文介绍了它们称为 RSA 和 TK 的两种基于表示相似性分析和树核的分析方法，这些方法可以直接量化神经激活模式编码的信息与句法树等符号结构所表示信息的相对强度，验证了这些方法对于具有明确定义语法和语义的简单合成语言的情况，然后将这些方法应用于将英语句子的神经表示与其从属树相关联。

May, 2019

黑盒遇见黑盒：神经语言模型和大脑的表征相似性和稳定性分析

该论文定义和应用了一种直观的分析神经语言模型的方法 —— 表征稳定性分析（ReStA），并使用 ReStA 和 RSA 对四个神经语言模型进行了研究，评估了它们的内部表征对先前上下文的敏感性，揭示了深层语言处理的位置，并探讨了 fMRI 大脑成像数据中的语言神经过程。

Jun, 2019

用于高效任务分类和迁移学习的表示相似性分析

本文提出通过使用 RSA 方法评估不同任务和其特定模型之间的关系来实现任务分类，进而用少量图像和预训练模型来展示此方法在生成 Taskonomy 数据集的任务分类方面的有效性和效率，并展示了在与 Pascal VOC 语义分割等任务中转移学习表现上 RSA 的关系，结果表明在相似性得分较高的任务上训练的模型具有更好的迁移学习表现。

Apr, 2019

使用表征相似性分析探索代码语言模型中的语义基础

本文利用相似性比较方法研究语言代码模型的语义基础，并通过 IBM CodeNet 数据集研究 CodeBERT 的语义基础。实验表明，现有的预训练方法并未引入语言代码模型的语义基础，而是集中优化基于形式的模式，而进行少量的语义相关任务的微调，可显著提高 CodeBERT 的语义基础。使用双模态输入比单模态输入更好地提高了 CodeBERT 的语义基础，并具有更高样本效率。最后，实验表明，CodeBERT 能够稳健地区分语义上正确和不正确的代码。

Jul, 2022

合理言语行动模型中的学习

通过定义和优化经训练的统计分类器，RSA 模型可用作自然语言处理应用程序的隐藏层，从而打开了新的应用领域和有效从数据学习的可能性，我们在指代表达生成任务中验证了该模型，表明将有关自然语言生成的洞见特征纳入 RSA 中可实现最佳性能。

Oct, 2015

朝着一个完全可解释且更可扩展的基于 RSA 模型的隐喻理解模型

我们引入了一个新的基于合作信息的 RSA 框架用于隐喻理解，该框架通过提供一个明确的公式来估计交际目标，并使用基于梯度的方法学习合理性参数，从而解决了现有 RSA 模型在解释性和可扩展性方面的局限性。实验结果表明，模型生成的分布与人类行为数据的解释之间存在强正相关性，特别是当意图的含义涉及到目标概念固有属性时，相关性更加明显。研究结果表明，隐喻处理可以很好地由基于典型性的贝叶斯模型捕捉到，即使其具有更大的可扩展性和解释性，也可以应用于其他语用现象和提高大型语言模型的可解释性，然而，结果还突显出，与词汇概念中不严格编码的隐喻含义相比，更具创造性的细微差别是机器难以捕捉到的挑战性方面。

Apr, 2024

使用句子编码器和短语对齐朝向结构感知的释义识别

本文提出一种将句子编码器与对齐组件相结合的方法，针对改善意思相似度比较任务的性能和可解释性，并通过具体实验证明了该方法能够提升模型对结构差异和高词汇重复的语句的区分能力。

Oct, 2022

神经表征的拓扑和几何

探索了拓扑脑表示相似性分析（tRSA），一种推广了脑表示相似性分析（RSA）的几何与拓扑摘要统计的家族，该方法可用于表征脑表示的拓扑特征并在噪音和个体变异性方面具有鲁棒性，在模拟和功能性磁共振成像（fMRI）数据上进行了评估。

Sep, 2023

关系句子嵌入用于灵活语义匹配

研究了建立新的 Relational Sentence Embedding（RSE）范式以更好地发现句子嵌入潜力，提出了一种关联嵌入学习方法，作用在源句子上，推断出使用现有的 Siamese-based encoder 的对应目标句子，从学习的嵌入中可以计算出细粒度的关系相似度得分。该方法在 19 个任务中进行了基准测试，取得了良好的效果。

Dec, 2022

增强排名的无监督句子表示学习

本文提出了一种基于相邻句子的无监督句子编码器 RankEncoder，利用相邻句子约束进行训练，在语义文本相似度性能、相似句子对的有效性和普适性等方面都较好地表现，达到了 80.07% 的斯皮尔曼等级相关性，相较于最先进技术性能有 1.1% 的绝对提升，并且在相似句子对方面提升更为显着，为 1.73%，同时证明了 RankEncoder 可以普遍适用于现有的无监督句子编码器。

Sep, 2022