May, 2023

联合注意命名博弈中的 Metropolis-Hastings 算法：实验符号学研究

PDF
TL;DR研究人员通过实验符号学研究探索个体之间交互中符号的出现。该研究对主动注意并称呼游戏进行了研究，并比较了人类接受概率和通过 Metropolis-Hastings 算法计算的接受概率的差异。研究表明，在 JA-NG 下进行符号出现的 MHNG 模型可以解释人类的行为，并认为这是一种近似的分散式贝叶斯推断。
symbolssemiotic studyjoint attention-naming gamemetropolis-hastings naming gamedecentralized bayesian inference
发现论文，激发创造
  • 基于概率生成模型的多智体系统中的符号涌现：递归 Metropolis-Hastings 命名游戏

    本论文提出了递归 Metropolis-Hastings 命名游戏（RMHNG）作为 MHNG 的 N 代理版本，RMHNG 是一种近似贝叶斯推理方法，用于代理之间共享的潜在变量的后验分布的计算。同时，本文通过在合成和真实图像数据上评估 RMHNG 的性能，证明了即使是计算简化版本的 RMHNG 也能使代理之间建立符号系统。

    May, 2023

  • 通过深度生成模型的 Metropolis-Hastings 命名游戏实现紧急通信

    该研究探索了一种新的通过基于概率生成模型的命名游戏来实现分布式贝叶斯推断的符号产生系统，并提出了利用无监督学习的 Emergent communication 方式来改善代理人的表现。

    May, 2022

  • 使用头对头潜在词进行人际分类的符号出现

    本研究提出了一种头对头类型的跨人员多模式 Dirichlet 混合模型，用于符号出现和多模式分类，该模型基于 Metropolis-Hastings 方法的命名游戏使两个代理协作进行多模式分类和分享符号。

    May, 2022

  • 基于 Metropolis-Hastings 数据增强的图神经网络

    该论文提出了一种名为 Metropolis-Hastings Data Augmentation（MH-Aug）的新型框架，利用 Metropolis-Hastings 算法从一个显式目标分布中抽取增强的图形，实现对图形神经网络进行半监督学习，从而改善了 GNN 的性能。

    Mar, 2022

  • MCMC 领域的紧缩：削减 Metropolis-Hastings 预算

    本研究旨在提高在处理大数据集时的贝叶斯后验 MCMC 采样的效率，通过引入基于连续假设检验的近似 MH 规则，根据部分数据即可高置信度地接受或拒绝样本，从而减少计算代价，同时控制引入的渐近偏差使方差下降得以更快。

    Apr, 2013

  • 符号出现作为人际情境跨越学习：组合词汇知识的出现

    本文提出了一种计算模型，该模型通过 Metropolis-Hastings 命名游戏和跨情景学习，使代理之间的组合性出现，并使语词知识生成，从而实现了类别形成和交际式通信。

    Jun, 2023

  • 一种用于可控能量驱动文本生成的区块 Metropolis-Hastings 采样器

    能量基语言建模与 Metropolis-Hastings 抽样器相结合可实现更高效和准确的文本生成，通过迭代提示大型语言模型，允许在每个步骤中对整个序列进行重写，从而确定生成长度和提高下游性能。

    Dec, 2023

  • 通过 Metropolis-Hastings 揭示掩码语言模型背后的隐式能量网络

    本文提出了一种从 MLMs 中推导出能量参数，并利用 Metropolis-Hastings Monte Carlo 算法开发了可处理的采样方案，用于无限制的生成和有条件的生成任务，证明了所提出参数化的有效性，以及我们的方法生成的样本比其他最近提出的非定向生成方法生成的更高质量。

    Jun, 2021

  • Metropolis-Hastings 生成对抗网络

    本文介绍了一种新的生成对抗网络，将 Markov chain Monte Carlo 和 GANs 相结合，从生成器 - 判别器对所定义的隐性分布中绘制样本，并使用 GAN 训练的判别器来构建用于改进采样的包装器，从而提高了生成器的性能。

    Nov, 2018

  • QUEST: 机器翻译的质量感知 Metropolis-Hastings 采样

    在机器翻译中，为解决生成高质量和多样化的翻译的挑战，本文采用 Gibbs 分布的能量函数，并通过 Metropolis-Hastings 算法从高密度区域生成多个样本，提供了一种简单有效的方法来避免过度依赖噪声质量估计的问题。实验结果表明，所提出的方法在多种语言对（英语↔德语、俄语）和两个强解码器单模型（Alma-7b、Tower-7b）中产生了高质量和多样化的输出。

    May, 2024