May, 2022

一种基于 Rational Speech Act 框架的指称表达：概率方法

PDF
TL;DR利用 RSA 框架与深度学习方法相结合，在多步骤过程中生成更好的、可解释的表述，在复杂的视觉场景中进行实验，比较我们的方法与其他端到端深度学习方法以及 RSA 变体的表现，结果表明，我们的方法在人类理解方面优于类似 RSA 方法，而在有限数据的情况下优于端到端深度学习。
referring expression generationvisual scenersa frameworkdeep learningmulti-step process
发现论文，激发创造
  • 合理言语行动模型中的学习

    通过定义和优化经训练的统计分类器，RSA 模型可用作自然语言处理应用程序的隐藏层，从而打开了新的应用领域和有效从数据学习的可能性，我们在指代表达生成任务中验证了该模型，表明将有关自然语言生成的洞见特征纳入 RSA 中可实现最佳性能。

    Oct, 2015

  • 通过自我监督实现可扩展的实用沟通

    本文提出了一种可扩展的语用学方法，通过信息论原理来在代理人之间掌握语用技能，建立了一种新的架构和学习过程，而不是依靠人类数据。

    Aug, 2021

  • 朝着一个完全可解释且更可扩展的基于 RSA 模型的隐喻理解模型

    我们引入了一个新的基于合作信息的 RSA 框架用于隐喻理解，该框架通过提供一个明确的公式来估计交际目标，并使用基于梯度的方法学习合理性参数，从而解决了现有 RSA 模型在解释性和可扩展性方面的局限性。实验结果表明，模型生成的分布与人类行为数据的解释之间存在强正相关性，特别是当意图的含义涉及到目标概念固有属性时，相关性更加明显。研究结果表明，隐喻处理可以很好地由基于典型性的贝叶斯模型捕捉到，即使其具有更大的可扩展性和解释性，也可以应用于其他语用现象和提高大型语言模型的可解释性，然而，结果还突显出，与词汇概念中不严格编码的隐喻含义相比，更具创造性的细微差别是机器难以捕捉到的挑战性方面。

    Apr, 2024

  • 人类实用推理的速率 - 失真视角

    本文研究了何种计算原则支持人类实用推理。使用 RSA 框架，论文以概率说话者和听者递归推理为基础，分析了 RSA 递归推理动力学，并探讨了相关的信息理论原则，以实现优化实用程序和交际努力的平衡。

    May, 2020

  • 使用基于字符级别推理的实用信息化图像字幕生成

    本文提出了一种将神经图像字幕生成器与 Rational Speech Acts（RSA）模型相结合的系统，其核心目标是生成不仅真实而且能够将其输入与类似图像区分开的字幕。通过在字幕展开期间实现一种基于字符（“a”，“b”，“c”…）的 RSA 版本来解决以前的计算效率问题，同时提出了一种自动测试质询演讲者模型性能的方法，并表明我们的模型优于非语用基线，以及单词级 RSA 字幕生成器。

    Apr, 2018

  • 通过摊销语用推理来学习信息性指称

    本文讨论了人类语言的理论模型 Rational Speech Acts (RSA) 框架下通过递归社会推理来捕捉语用现象的一种思路，并通过使用点对点通信游戏数据集，设计了一种新的模型来实现基于内部听众模型的成本分摊机制，实现了在多种语境下快速生成有效而简洁的语言。

    May, 2020

  • 结构化信号博弈中的实用推理

    在本文中，我们介绍了一种结构化信号博弈，一种在上下文中意义之间具有相似性结构的经典信号博弈的扩展形式，以及一种我们称之为结构化 RSA（sRSA）的 Rational Speech Act（RSA）框架变体，用于结构化领域中的信息推理。我们研究了 sRSA 在颜色领域的行为，并显示出在仅进行 1 或 2 个递归级别后，使用 sRSA 的语用代理在来自 World Color Survey 的语义表示上达到了接近信息论界限的效率。我们还探讨了语用推理与多智能体强化学习框架中的学习之间的相互作用。我们的结果说明，使用 sRSA 的人工代理比使用 RSA 和仅强化学习的代理开发出更接近信息论前沿的通信。我们还发现，在允许语用代理在学习过程中进行更深入的彼此推理时，语义表示的歧义性会增加。

    May, 2023

  • 指代表达的联合发话人 - 听话人 - 强化模型

    本文提出了一种统一的方案，包括三个模块，即发言者、侦听器和强化程序，用于指代表达的理解和生成任务。训练过程采用端到端深度学习框架，并加入了强化程序的反馈，取得了在三个指代表达数据集上表现最佳的结果。

    Dec, 2016

  • 学习调解差异以促进实用交流

    本研究提出了一种基于 Pragmatic Rational Speaker 的框架，通过在工作记忆中添加轻量级差异调整层来学习演讲者 - 听者差异并相应地调整演讲，从而实现了一种类似于人类交流的 AI 代理能力。实证结果证明，该框架能够显著提高协作任务的结果。

    Mar, 2022

  • 一种基于上下文感知的端到端自然语言对象检索方法

    本文介绍一种通过深度强化学习的方式，结合空间和时间情境及自然语言先验知识，移动和重塑边界框以定位描述中的物体，从而实现自然语言目标检索任务。作者实验表明，该方法在多个数据集上均优于现有算法，特别在 ReferItGame 数据集上，该方法相比 GroundeR 和 SCRC 的准确率分别提高了 7.67％和 18.25％。

    Mar, 2017