EMNLPNov, 2023

无所依托的 LLMs 中的知觉结构：抽象性和主观性在颜色语言中的影响

PDF
TL;DR语言理解中的基础是一个活跃的研究领域。以颜色感知和颜色语言为研究基础，通过实证研究发现，颜色空间和语言模型定义的特征空间之间存在相当大的一致性。通过收集包含近 100 万个颜色及其描述的大规模数据集，进行两种对齐方式的实证分析：（i）跨空间对齐，即学习嵌入空间和颜色空间之间的映射，以及（ii）内部空间对齐，通过提示颜色描述之间的比较。我们的结果表明，尽管对于单词基础、高度实用的颜色描述，颜色空间对齐成立，但在存在主观性和抽象性等真实语言使用元素的示例中，这种对齐性显著降低，这表明在这种情况下可能需要基础。
发现论文，激发创造
  • 语言模型是否能够在没有基于所见的情况下编码感知结构？以颜色为例的案例研究

    本文通过使用预先训练的语言模型，对颜色的结构性关系进行研究，发现在理解色彩的感知结构方面，较为温暖的颜色比较接近于感知颜色空间。

    Sep, 2021

  • 基于修饰符动态的学习：以颜色命名为例

    本研究展示了一个对于自然语言中颜色修饰的理解模型，该模型比之前在 RGB 颜色空间中的加法模型能够学习更复杂的变换，同时我们还提出了一个在 HSV 颜色空间中操作的模型，结果表明针对某些形容词在 HSV 颜色空间中效果更好，此外我们还训练了一种硬强集成模型，该模型会根据修饰符颜色配对情况来选择颜色空间，实验结果表明与现有基线模型相比，该模型有显著且一致的提升。

    Sep, 2019

  • 抽象和具体词汇的视觉定位：对 Günther 等人 (2020) 的回应

    本文探讨语言与视觉的互动方式对视觉基础单词嵌入的影响，并使用 Günther 等人 (2020) 的行为实验说明了基于视觉图像建模的嵌入模型在人类的行为表现上更佳。同时发现抽象概念从视觉连接的角度受到视觉基础单词的间接影响。

    Jun, 2022

  • 颜色环境语境下的实用神经模型：基于现实的语言理解

    该论文提出了一种基于递归语用推理框架的实用指称表达解释模型，利用两个循环神经网络分类器的预测来识别颜色，实验证明模型比分类器更准确地解释颜色描述，并且大部分改进来自于结合说话者和听者视角。

    Mar, 2017

  • 网络讨论平台中色盲参与者对颜色术语使用的探索

    研究了色盲患者对红绿色观念知觉的影响，发现他们的语言产出中红色和绿色词汇使用的可预测性较低且不常出现在心理图像引发的语言环境中，揭示了感官经验对于语言系统的影响。

    Oct, 2022

  • 大型语言模型估计细粒度人类色彩概念关联

    通过研究人像的颜色概念关联评分与 GPT-4 评分的相关性，探讨了 GPT-4 能够准确预测人类颜色概念关联的能力，并证明了 GPT-4 可以有效估算各种概念的颜色关联分布，为设计有效且直观的信息可视化提供了重要工具。

    May, 2024

  • 视觉基准帮助在低数据环境中学习词义

    通过对具有意义的监督的视觉数据进行训练，我们发现在具有限定语言数据的情况下，视觉监督可以提高词汇学习的效率，但这种改进是有限的，并且当前的多模态建模方法未能有效利用视觉信息以构建更具人类特征的词汇表示。

    Oct, 2023

  • 大型语言模型在学习概念空间中的潜力分析

    概念空间理论是一种有影响力的认知语言框架，用于表示概念的意义。通过挖掘大型语言模型（LLM）学习概念空间的潜力，研究发现 BERT 家族的精细调整模型能与甚至胜过最大的 GPT-3 模型，尽管体积要小 2 到 3 个数量级。

    Oct, 2023

  • 语言对感知的揭示：从大型语言模型中梳理心理物理知识

    使用大型语言模型结合经典的心理物理学方法，从文本中提炼出心理物理信息，然后应用多维尺度方法发现其潜在的心理空间。在六个知觉域上测试我们的方法，成功地拟合了文献中已知的心理物理结构。这项工作展示了如何将最先进的机器模型与经典的认知范式相结合，从而阐明感知和语言研究中的基本问题。

    Feb, 2023

  • 跨语言词向量的视觉定位

    通过在英语、阿拉伯语和德语等语言间建立隐式的视觉及语言空间交互，研究探讨跨语言的词嵌入的视觉基础。结果表明，跨语言知识可以增强相似语言的嵌入性能，但德语或英语与阿拉伯语之间的跨语言基础稍有劣化，在归类基准上，阿拉伯语对英语改进最多。该实验为跨语言视觉基础的进一步研究提供了基础。

    Sep, 2022