EMNLPSep, 2019

基于修饰符动态的学习：以颜色命名为例

PDF
TL;DR本研究展示了一个对于自然语言中颜色修饰的理解模型，该模型比之前在 RGB 颜色空间中的加法模型能够学习更复杂的变换，同时我们还提出了一个在 HSV 颜色空间中操作的模型，结果表明针对某些形容词在 HSV 颜色空间中效果更好，此外我们还训练了一种硬强集成模型，该模型会根据修饰符颜色配对情况来选择颜色空间，实验结果表明与现有基线模型相比，该模型有显著且一致的提升。
发现论文，激发创造
  • 学习生成组合式色彩描述

    使用递归神经网络和傅里叶变换的颜色表示方法，成功应用于生成颜色描述模型，在自然颜色描述的大型语料库上进行条件语言模型任务，不仅可以准确地生成基本颜色术语，还可以生成训练过程中未见过的具有非凸含义的描述词，裸修饰语以及组合短语。

    Jun, 2016

  • 无所依托的 LLMs 中的知觉结构：抽象性和主观性在颜色语言中的影响

    语言理解中的基础是一个活跃的研究领域。以颜色感知和颜色语言为研究基础，通过实证研究发现，颜色空间和语言模型定义的特征空间之间存在相当大的一致性。通过收集包含近 100 万个颜色及其描述的大规模数据集，进行两种对齐方式的实证分析：（i）跨空间对齐，即学习嵌入空间和颜色空间之间的映射，以及（ii）内部空间对齐，通过提示颜色描述之间的比较。我们的结果表明，尽管对于单词基础、高度实用的颜色描述，颜色空间对齐成立，但在存在主观性和抽象性等真实语言使用元素的示例中，这种对齐性显著降低，这表明在这种情况下可能需要基础。

    Nov, 2023

  • 颜色环境语境下的实用神经模型：基于现实的语言理解

    该论文提出了一种基于递归语用推理框架的实用指称表达解释模型，利用两个循环神经网络分类器的预测来识别颜色，实验证明模型比分类器更准确地解释颜色描述，并且大部分改进来自于结合说话者和听者视角。

    Mar, 2017

  • 语言模型是否能够在没有基于所见的情况下编码感知结构？以颜色为例的案例研究

    本文通过使用预先训练的语言模型，对颜色的结构性关系进行研究，发现在理解色彩的感知结构方面，较为温暖的颜色比较接近于感知颜色空间。

    Sep, 2021

  • 视觉解释基础（扩展摘要）

    本论文提出了一种新的模型，通过利用在生成的解释中的成分词的本地化接地来确保图像相关性，从而同时生成文本解释和图像。

    Nov, 2017

  • 视觉和语言模型中短语定位和任务表现的联合研究

    通过在图像环境中关联文字和短语到图像区域，本文提出了一个框架来共同研究任务表现和短语的关联，并提出了三个基准来研究二者之间的关系。我们的研究结果显示，现有模型在关联短语和解决任务方面存在不一致性。我们展示了如何通过对关联短语注释进行穷举式训练来解决这个问题，并分析了它所产生的动态性。

    Sep, 2023

  • 多模态指令中的符号基础

    本文提出了一种方法来处理跨模态输入的原始流，以产生物体的细分并与高级概念相关联，以学习用户的颜色和形状的概念，并表明该模型可以从少量的物理演示中推广到识别新单词的物理指示。

    Jun, 2017

  • 像双语婴儿一样：视觉引导双语语言模型的优势

    通过使用 MS-COCO-ES 数据集中的英语和西班牙语的图像和字幕来训练 LSTM 语言模型，研究发现视觉基础能够提高语义相似性的理解能力，特别是在跨语言时，但是在抽象词汇方面没有显著优势。研究还指出，为了进一步提高视觉基础的语言模型的实用性，需要更多多语言数据和多语言说话者的感知基础。

    Oct, 2022

  • 数据驱动学习和语用推理导致的颜色过度修饰现象

    本文利用神经网络构建概率模型，从而研究影响口头表达方式的因素，发现环境特征对于过度修辞式表达有显著影响。

    May, 2022

  • 在基于图像场景环境的语义空间中融合视觉语义到句子表示中

    本文目的在于通过学习一种中间的 representation space 将视觉信息转移到文本表示中，以解决由于一个视觉场景可以有多种描述方式所导致的文字表示和学习中的问题，作者还提出了两个新的目标，来保证相关元素之间的相似性跨领域地保持和提高分类和语义相关性任务的性能。

    Feb, 2020