Feb, 2024

RAVEL：对解缠语言模型表示方法的可解释性评估

PDF
TL;DR通过 RAVEL 数据集，我们引入了 Multi-task Distributed Alignment Search (MDAS) 方法，用于解决多个高级概念在单个神经元中的表示问题，并通过标识分布在激活中的特征来实现分布式表示。
neuronsinterpretability methodsravel datasetmulti-task distributed alignment searchdistributed representations
发现论文，激发创造
  • IERL: 可解释的集成表示学习 —— 结合众包知识和分布式语义表示

    研究通过使用知识图谱来优化大型语言模型的性能，并提出了一种能够解释的集成学习方法 (IERL)，在 General Language Understanding Evaluation (GLUE) 任务中表现良好。

    Jun, 2023

  • 适用于命名实体识别的可解释性多数据集评估

    本文提出了一种可解释的评估方法，用于对自然语言处理任务中的命名实体识别进行分析，以帮助读者更好地理解不同模型及其相对优劣之处。通过将我们的分析工具提供给其他研究人员，我们希望能推动这一领域的进步。

    Nov, 2020

  • 学习自然语言定义的解耦表示

    使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

    Sep, 2022

  • DeViL: 将视觉特征解码为语言

    我们提出了 DeViL 方法，该方法利用后续解释方法在深度神经网络决策过程中提供了自然语言描述，通过将视觉特征解码为语言，突显了不同层次的网络中视觉特征的归属位置，并在图像和文本之间进行转换，生成视觉网络不同层次的文本描述。

    Sep, 2023

  • MARVEL: 多维度的可视化评估和学习中的抽象和推理

    多模态大型语言模型在抽象视觉推理方面呈现出近乎随机的性能，无法理解视觉特征和难以进行抽象推理。

    Apr, 2024

  • RAVEN：多任务检索增强视觉 - 语言学习

    该论文介绍了 RAVEN，一个多任务的检索增强视觉语言模型框架，通过有效的任务特定微调，无需额外的检索特定参数，该模型获得了在多个任务中都有效的检索能力，对图像字幕和 VQA 任务的广泛实验结果表明，与非检索基准线相比，在 MSCOCO 上提高了 + 1 CIDEr，在 NoCaps 上提高了 + 4 CIDEr，在特定的 VQA 问题类型上提高了近 3％的准确率，这表明了将 RAG 方法应用于视觉语言模型的有效性，标志着朝着更高效和可访问的多模态学习迈进。

    Jun, 2024

  • 抽象视觉推理模型中的泛化和知识迁移

    研究在抽象视觉推理领域中，深度神经网络的泛化和知识重用能力，通过使用 Raven's Progressive Matrices（RPMs）作为评估抽象视觉推理能力的基准任务。通过研究两种知识转移场景，介绍了 Attributeless-I-RAVEN 和 I-RAVEN-Mesh 两个数据集，以及一种名为 PoNG 的新型神经架构，用于解决抽象视觉推理任务。

    Jun, 2024

  • u-LLaVA: 通过大型语言模型统一多模态任务

    通过将 LLM 作为连接多个专家模型的桥梁，采用 u-LLaVA 方法来解决多模态 LLM 在任务间产生的幻觉和相互干扰问题，该方法有效且简单，并在多个基准测试中获得了最先进的性能。

    Nov, 2023

  • 在可解释因果变量和分布式神经表示之间找到对齐

    本文介绍了一种名为分布式对齐搜索（DAS）的方法，它使用梯度下降来找出高层和低层模型之间的对齐，并允许单个神经元在非标准基中扮演多个不同的角色，从而发现了其他方法所错过的内在结构，为进行因果抽象分析消除了前期的限制。

    Mar, 2023

  • 检索式知识增强视觉语言预训练

    该篇论文提出了一种基于知识图谱的视觉语言预训练模型 (REAVL)，能够检索多模态数据中的世界知识，并结合多模态数据和知识来完成预训练，以提高视觉语言理解和多模态实体链接任务的性能。

    Apr, 2023