grounded language understanding | BriefGPT

关键词grounded language understanding

搜索结果 - 11

通过互相反馈与代理互动，提高基于场景的语言理解能力
探索交互式人工智能与人类协作的方向，研究在基于 Minecraft 世界的交互式语言理解任务中，人类可以提供哪些类型的辅助帮助，以提高 AI 行为的性能和表现。
PDFa year ago
不生成，而是识别：一个在真实世界环境中基于语言模型的建议
Pangu 是一个通用的基于神经网络的 grounded language understanding 框架，它采用了 LM 的较强区分能力作为建模依据，并且在基于 KBQA 的案例中展示了卓越的性能，同时使得大型 LM 包括 Codex
PDF2 years ago
ACL从上下文描述中检索图像
本文介绍了新的多模态挑战 ImageCoDe，探讨当前视觉 - 语言模型集成上下文、包括感知和时间信息的能力。通过从一批候选图像中选择正确的图像作为回应上下文描述，验证了多种现代模型的表现，并发现相对于人类表现差距巨大。文章介绍了新的模型变
PDF2 years ago
递归解码：基于情境认知的基于语境的语言理解中的组合生成方法
本文提出了 Recursive Decoding (RD) 算法，针对 “decode-side” 推理，通过逐步预测每个单词来训练 seq2seq 模型，进而在 grounded language understanding 中，以及 s
PDF2 years ago
ICLR基于案例推理的文本强化学习通用性改善技术
本文提出了一种基于基于案例推理的通用方法来训练代理和实现训练分布之外的泛化，与现有文献中的 TBG 中任何现有的政策神经代理结合使用。实验表明，所提出的方法不断改进现有方法，在广泛使用的环境中获得了新的最先进结果。
PDF3 years ago
EMNLPgSCAN 上的系统性概括：几乎解决了什么问题，下一步又是什么？
本篇论文通过研究 gSCAN 基准测试来探讨通用 Transformer 模型和跨模式关注方法在多模态研究中的应用，以此揭示语言构造系统化泛化方面的挑战。同时，作者提出了一些新的任务来挑战现有模型，并发现当前模型在指令狭窄范围内数据利用效率
PDF3 years ago
跨语种视觉 - 语言导航
该研究基于新增的汉语指令，研究了即使在零样本学习的情况下，使用现有的英语指令进行训练的代理人如何有效地导航，并显示了竞争结果。
PDF5 years ago
ICLR系统性概括：所需和可学习性？
比较了通用模型和模块化模型在系统化泛化方面的不同，发现模块化模型更具系统性，且高度敏感于模块排列方式，还探究了一些方法，结果表明，除了模块化，语言理解的系统泛化可能需要显式的正则化器或先验。
PDF6 years ago
基于视觉支持的语言学习的视觉蕴涵任务
本文介绍了一项新的推理任务 - 视觉蕴含（Visual Entailment，VE），VE 与传统的文本蕴含（Textual Entailment，TE）任务不同，它的前提是由图像定义的，而不是像 TE 任务中那样由自然语言句子定义的。在
PDF6 years ago
EMNLP你看懂我想说的话了吗？语言歧义的视觉解决
通过感知获得的复杂上下文信息与理解语言相辅相成。本文提出了一项新颖的基于场景的语言理解任务：在给定描绘该句子可能解释之一的视觉场景的情况下，将其消除歧义。为此，我们介绍了一个包含多义句子的新的多模态语料库，表示广泛的句法、语义和语篇歧义，并
PDF8 years ago
Flickr30k 实体：收集区域到短语的对应关系以构建更丰富的图像到句子模型
本文介绍了 Flickr30k 实体数据集，其中增加了 244k 个共指链，将相同实体的提及于同一图像中的不同标题链接起来，并与 276k 个手动标注的边界框关联。该注释对于自动图像描述和基于语言的图像理解的持续进展至关重要。
PDF9 years ago