Apr, 2023

量化视觉、语言和视觉 - 语言复杂度在动词习得中的作用

PDF
TL;DR通过大规模预训练的人工神经网络对单词进行视觉和语言表示，研究了早期动词学习的三个假设，并比较了影响困难度的因素。结果表明，视觉结构变异性是影响动词学习的最大挑战。
early verb learningvisual structure of categorieslinguistic representationsartificial neural networkslearning difficulty
发现论文，激发创造
  • 分析有限数据中语言与视觉在学习中的作用

    语言对理解视觉世界有何帮助？实际观察世界还是通过文字描述更重要？通过分析具有语言和视觉能力的人工智能模型，研究人员发现语言提供了先前的知识和推理能力，有助于从有限数据中学习新任务。

    Feb, 2024

  • 基于视觉的神经语法学习

    探究了一种从视觉信号中学习句法的方法，发现简化版本的模型同样表现良好，其中名词的具体性是预测的主要因素。

    May, 2020

  • 大规模跨语言研究：视觉限制对语言选择描述的影响

    本研究通过对四种语言中的五种语言特征进行大规模、多语言的调查研究，并给出了一种新颖的方法，通过分析 600k 张图像和 3M 张图像的标题，证明了视觉背景对语言使用的影响，并在数字表达的研究中发现了不同视觉条件下语言表达的相似模式，为语言生成应用提供了参考。

    Feb, 2023

  • 视觉语言学习中知识的贡献：任务和挑战调查

    研究了基于视觉和语言协同的任务，考虑利用知识图谱和大型语言模型等外部知识来源填补现有 VL 预训练数据集中存在的知识缺失问题，提出了基于混合架构的解决方案，并总结了知识图谱与大型语言模型潜在对未来混合模型的影响。

    Mar, 2023

  • 视觉是否加速神经语言学习者的分层泛化？

    本研究探讨了神经语言模型（LM）与人类学习者的效率差距，提出了学习者除文本外的其他模式，即视觉模式的可行性，并通过两个实验表明视觉模式在简化的人工场景下加速了 LMs 的合适的语法泛化，但在嘈杂的现实场景中，LMs 很难做到。这表明视觉有助于语言习得，但学习者需要有额外的先验知识来使用原始图像进行高效的语言习得。

    Feb, 2023

  • 基于真实规模的视听命名事件的早期词汇习得模型

    在一个真实的环境中，使用一种仅通过未注释的原始语音和视觉输入中的统计规律性进行学习的模型，研究证明婴儿通过统计学习能够有效地学习识别单词并将其与相应的视觉对象相关联，词汇增长的速度与婴儿观察到的相当。这一发现支持了统计学习在早期词知觉中的可行性，展示了学习可以在不假设任何先前语言能力的情况下进行。

    Jun, 2024

  • 人类和 LLMs 中的视觉对象命名、描述和量化

    当前的视觉与语言大型语言模型（VLLMs）在捕捉人类命名偏好方面的能力存在问 题，尤其在需要高级推理能力的任务中，例如指定量词。

    Mar, 2024

  • 视觉引导语法归纳模型的联合推理中重新定义语言启发

    使用一系列神经视觉语法归纳模型，通过同时学习句法和语义来展示语义引导和句法引导对语言习得的影响，并表明联合学习能够提高语法归纳、词类学习和新句子和动词意义的解释。联合学习通过相互约束句法和语义的假设空间，使得语言习得对学习者更容易。同时，研究联合推理的动态过程对于语言建模和学习研究来说是一个重要的新方向，在认知科学和人工智能领域可以帮助我们解释如何在更受限的学习环境中学习语言。

    Jun, 2024

  • 视觉词汇习得的课程化 Q 学习

    通过视觉提示将词汇学习个性化，通过强化学习建模评估其适应性，并为代理人的语言学习提供训练方法。

    Nov, 2017

  • 视觉语言预训练是否提高了词汇连接能力？

    本文研究比较基于视觉和语言的预训练模型和仅基于文本的预训练模型的语义表示，结果发现基于视觉和语言的模型在仅语言方面无法显著优于仅基于文本的模型，因此这种多模态预训练对于提高自然语言处理的效果仍需要进一步研究。

    Sep, 2021