FLIN: 用于 Web 导航的灵活自然语言接口
通过将多模态输入与先前的语境相结合，我们介绍了一种称为 SPICE 的任务，旨在提高人工智能代理程序的上下文意识。SPICE 不仅仅是传统语义解析，还提供了一种结构化、可解释的框架，用于根据新信息动态更新代理程序的知识，反映人类沟通的复杂性。我们开发了 VG-SPICE 数据集，旨在通过口语对话交换中的视觉场景图构建来挑战代理程序，并突出了语音和视觉数据的整合。我们还介绍了用于 VG-SPICE 的音频 - 视觉对话场景解析器 (AViD-SP)。这些创新旨在改进多模态信息处理和整合。VG-SPICE 数据集和 AViD-SP 模型均已公开提供。
Jun, 2024
通过扩展语义解析的组成概括工作，我们为生成与知识图谱配对的自然语言问题开发了一种方法，以在不受限于语言模型权重隐式编码的信息的同时，对这些模型从知识图谱中学习和概括程度进行控制性评估，我们发现现有的将语言模型与知识图谱组合的方法在未见过长度序列和新组合的基础组件方面存在泛化问题，因此，我们希望我们的工作和发布的数据集能够促进未来研究并探索如何更好地将语言模型与结构化知识表示相结合的方法。
Jun, 2024
SPAGHETTI 是一个混合问答 (QA) 流水线，利用来自知识库、文本、表格和信息框的异构知识源，通过 LLM 增强方法在 Compmix 数据集上取得了最先进的性能，达到了 56.5% 的精确匹配（EM）率。更重要的是，对数据集的一部分进行手动分析表明，SPAGHETTI 的准确率超过 90％，表明 EM 不再适用于评估当前的 QA 系统的能力。
Jun, 2024
PixelsDB 是一个开源的数据分析系统，通过自然语言接口和灵活的服务级别和价格，使得缺乏系统或 SQL 专业知识的用户能够高效地探索数据。
May, 2024
提出了 thoughtful things 这种设备，利用轻量级本地语言模型执行操作并解释行为，以解决智能设备使用的复杂性和语音助手的局限性。
May, 2024
该研究提出了一种将监督学习和强化学习技术相结合的新方法，通过在 MiniWoB 基准上利用两种方法的优势，解决了先前模型对 HTML 内容的理解上的关键限制，并展示了优于先前监督学习方法的实验结果，同时在与多模式强化学习方法相结合时缩小了与强化学习模型之间的性能差距，从而为未来的网络导航提供了新的方向和对语言建模在计算机任务中的潜力的洞察。
May, 2024