Feb, 2024

人类与大型语言模型的抽象能力比较：多模态连续再现

PDF
TL;DR人类从嘈杂的感知数据中提取出对世界有用的抽象。本研究通过串联复制实验探究语言对抽象形成的影响，发现语言作为一种模态对人类的复制结果影响较大，提示人类的视觉和语言表征比 GPT-4 的表征更可分。
abstractionsserial reproductionmultimodallanguagedissociable
发现论文，激发创造
  • 使用大型语言模型模拟多人并复制人类受试研究

    介绍了一种新的测试方法 —— 图灵实验（TE），用于评估语言模型（如 GPT-3）模拟人类行为的能力，设计实现了多项经济学、语言学和社会心理学实验的 TE，比较了不同语言模型再现经典实验的表现，揭示了一些语言模型的 “超级精度扭曲” 问题。

    Aug, 2022

  • 多模式图像香农博弈

    通过在 Shannon 游戏中添加图像信息这一额外多模态信息，使用语言模型 GPT-2 及人类参与者来研究其在提高语言理解和建模方面的潜力，并发现在单词的某些词类中（如名词和限定词）使用额外多模态信息会得到更好的效果。

    Mar, 2023

  • 多语言语言模型中展示抽象语法表示的结构启动实证

    大型语言模型中存在类似人类的抽象的单语和跨语言语法表示，这些语法表示在不同语言中可以产生因果影响。

    Nov, 2023

  • 概念表示需要具身吗？来自大型语言模型的洞见

    该论文比较人类和 ChatGPT（GPT-3.5 和 GPT-4）在各种词汇概念特征或维度上的词汇概念表示，结果表明 LLM 可以在某些抽象维度上表现得与人类相似，但在感官和运动领域，GPT-3.5 表现较弱，而 GPT-4 在这方面有了显著进展，但仍然存在一些不足。此外，研究还发现，GPT-4 的进步主要源于其在视觉领域的训练。研究还发现，某些概念表示的方面似乎与感官能力相互独立，但其他方面似乎需要它们。

    May, 2023

  • 多模态大型语言模型在预测语言处理中体现人类式的视觉 - 语言整合的证据

    大型语言模型（LLMs）的高级语言处理能力引发了关于它们是否能够复制类似人类认知过程的能力的讨论，本文通过研究多模态语言模型（mLLMs）中的视觉关注权重，发现与人类一样，mLLMs 中基于多模态输入的预测性语言处理过程也会受到视觉特征的注意引导。

    Aug, 2023

  • 多智能体通信中的突现式翻译

    本文提出了一种基于多模态视觉的交互式语言学习模型，无需平行语料库即可实现语言的相互理解和翻译，并表明使用该模型的多语言社区实现了更好和更快的翻译结果。

    Oct, 2017

  • 语言对感知的揭示：从大型语言模型中梳理心理物理知识

    使用大型语言模型结合经典的心理物理学方法，从文本中提炼出心理物理信息，然后应用多维尺度方法发现其潜在的心理空间。在六个知觉域上测试我们的方法，成功地拟合了文献中已知的心理物理结构。这项工作展示了如何将最先进的机器模型与经典的认知范式相结合，从而阐明感知和语言研究中的基本问题。

    Feb, 2023

  • PuzzleVQA: 通过抽象视觉模式诊断语言模型的多模态推理挑战

    通过对抽象模式的基本概念进行评估，我们发现大型多模态模型在简单抽象模式上无法很好地泛化。通过对大型多模态模型的推理挑战进行系统分析，我们发现主要瓶颈在于较弱的视觉感知和归纳推理能力。

    Mar, 2024

  • 多模态大型语言模型的（R）演进：一项调查

    连接文本和视觉模态在生成智能中起着关键作用。受大型语言模型成功的启发，目前正在大量研究开发多模态大型语言模型 (MLLMs)。本文全面回顾了最近的面向视觉的 MLLMs，分析了它们的体系结构选择、多模态对齐策略和训练技术。同时，还对这些模型在包括视觉定位、图像生成和编辑、视觉理解以及领域特定应用等一系列任务上进行了详细分析。此外，我们还编译和描述了训练数据集和评估基准，并在性能和计算要求方面对现有模型进行了比较。总体而言，本调查提供了当前最新技术的全面概述，为未来的 MLLMs 奠定了基础。

    Feb, 2024

  • 像双语婴儿一样：视觉引导双语语言模型的优势

    通过使用 MS-COCO-ES 数据集中的英语和西班牙语的图像和字幕来训练 LSTM 语言模型，研究发现视觉基础能够提高语义相似性的理解能力，特别是在跨语言时，但是在抽象词汇方面没有显著优势。研究还指出，为了进一步提高视觉基础的语言模型的实用性，需要更多多语言数据和多语言说话者的感知基础。

    Oct, 2022