Feb, 2022

基于语法的基础词汇学习

PDF
TL;DRGrammar-Based Grounded Lexicon Learning (G2L2) is a lexicalist approach for compositional and grounded meaning representation of language, with a collection of lexicon entries mapping each word to a syntactic type and a neuro-symbolic semantic program for executable neuro-symbolic programs that can generalize to novel compositions of words, as evaluated in visual reasoning and language-driven navigation domains.
grammar-based grounded lexicon learningneuro-symbolic semantic programvisual reasoninglanguage-driven navigationcompositional and grounded meaning representation
发现论文，激发创造
  • 词典级对比性视觉引导改进语言建模

    基于视觉监督的语言学习过程，通过提供词汇信息的早期层表示，兼容多模态的人类语言习得方式，实现了在语言模型中融入视觉基础的潜力。

    Mar, 2024

  • 视觉引导的神经语法习得

    本研究提出了 Visually Grounded Neural Syntax Learner (VG-NSL)，一种无需显式监督即可学习句法表示和结构的方法。VG-NSL 使用自然图像和标注的配对描述学习语法树结构，并在 MSCOCO 数据集和 Multi30K 数据集上展示了 VG-NSL 超越了不使用视觉元素作为辅助的无监督分析方法。

    Jun, 2019

  • 通过基于实景的学习掌握语言结构

    本文提出了基于语言结构的机器学习任务，并通过三种方案展示了其潜力和可行性，包括通过视觉基现学习语法结构，通过执行感知方法映射句子到语义结构，并通过跨语言词对齐和子结构投影方法改进零样本跨语言依赖分析的性能。

    Jun, 2024

  • 学习语法的逻辑词嵌入

    我们介绍了逻辑语法嵌入（LGE），这是一种受到预群组语法和范畴语法启发的模型，可从文本语料库中无监督推断词汇类别和句法规则。LGE 产生易懂的输出来总结其推断，具有完全透明的生成新句子的过程，并且可以从少至一百个句子中学习。

    Apr, 2023

  • 视觉场景的基于语义 grounded 语义构成

    本篇研究介绍了一种基于视觉语言理解模型的单词语义组合来生成复杂指代表达式的理论，介绍了其在空间指代表达式中的应用及在语义理解中对视觉语境的影响研究。

    Jun, 2011

  • 基于视觉的神经语法学习

    探究了一种从视觉信号中学习句法的方法，发现简化版本的模型同样表现良好，其中名词的具体性是预测的主要因素。

    May, 2020

  • 多模式大型语言模型中的即插即用推理基础

    插拔式推理引擎 P2G 在多模态大型语言模型中的可视化推理任务表现优异，特别是在高分辨率图像中的文本和对象细节捕捉方面，与 GPT-4V 的性能相当，为模型扩展之外的有前景的替代方案。

    Mar, 2024

  • 一个（搜索）框内的语言：以真实世界的人机交互为基础的语言学习

    研究通过现实世界数据进行基于场景语言学习，探索在用户与搜索引擎之间自然互动中建模教师 - 学生动态学习的出现、语义的普遍性，学习场景、表示和组合的功能，并表明该方法在组合性和零 - shot 推理任务方面提供了比 SOTA 的非基于场景的模型更好的结果和泛化能力。

    Apr, 2021

  • 基于场景语境的系统化概括语言理解基准测试

    本文介绍了一个新的基准测试 gSCAN，用于评估位于语言理解中的组成泛化，在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇，并将其用于语言理解任务。测试发现，在需要系统的组成规则的情况下，强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。

    Mar, 2020

  • 基于数据驱动的字素到音素表示的无词典文本转语音

    通过使用自监督学习的最新进展，本文消除了使用固定表示而非数据驱动的方法生成专家词典的问题，将其应用于无词典的文本转语音系统中，与基于专家词典的方法相比，在没有语言专业知识的前提下达到甚至略优的声音质量。

    Jan, 2024