ICMLMar, 2019

随机束和它们的发现：Gumbel-Top-k 技巧在不重复采样序列中的应用

PDF
TL;DR应用 Gumbel-Top-k 技巧和分解可重复采样，使用随机束搜索进行无重复抽样序列模型的研究，发现序列采样中存在随机束搜索和确定性束搜索之间的理论联系，这一方法在翻译任务中表现优异，且采样无重复序列可用于构造期望 BLEU 得分和模型熵的低方差估计。
gumbel-top-ksamplingfactorized distributionstochastic beam searchtranslation task
发现论文，激发创造
  • 条件泊松随机搜索

    本文提出了一种新的随机解码策略 —— 条件泊松随机束搜索，该策略对序列生成模型中的诸多问题进行了优化，并且在实验中得到了验证。

    Sep, 2021

  • 机器学习中离散随机性的 Gumbel-max 技巧及其扩展综述

    本文介绍了使用 Gumbel-max trick 从分类分布中抽样的方法，并概述了该方法的扩展，包括从结构化领域中抽样、多重抽样、通过渐变估计神经网络优化中的误差反向传播等，并提供了以 Gumbel 为基础算法的机器学习文献综述、常见设计选择以及未来展望。

    Oct, 2021

  • 算术采样：大型语言模型的并行多样解码

    本文介绍了一种适用于大型语言模型的解码方法，可以在保持输出多样性的同时实现并行计算，并在 WMT 机器翻译任务中取得了明显提高。

    Oct, 2022

  • 神经组合优化的自我改进：无替换抽样，仅改善

    通过结合行为克隆和增强学习方法，本文简化了端到端的神经组合优化训练过程，采用随机抽样解决方案并利用概率策略改进来提高模型性能，在旅行推销员问题和车辆路径问题方面取得了令人满意的结果，并应用于作业车间调度问题，超越现有的方法。

    Mar, 2024

  • 随机 Softmax 技巧的梯度估计

    在扰动模型框架下，我们使用随机 softmax 技巧（stochastic softmax tricks）对 Gumbel-Softmax 技巧进行了推广，将其推广到组合空间。与基线相比，我们发现使用随机 softmax 技巧可以训练表现更好、发现更多潜在结构的潜在变量模型。

    Jun, 2020

  • 神经文本生成的最佳 -$k$ 搜索算法

    本文提出了一种平衡生成质量和多样性的确定性搜索算法，并在四个自然语言生成任务中进行了实验，结果表明该算法相较于强基准表现更具多样性和自然性，同时维持高生成质量。

    Nov, 2022

  • A* 抽样

    本文研究了从连续分布中进行采样的优化问题，利用 Gumbel 过程提出了 A * 采样算法，对其正确性和收敛时间进行了分析，并与现有算法进行比较实验。

    Oct, 2014

  • Gumbel Trick 的失落亲戚

    该论文提出了一种基于 Gumbel trick 的采样方法，能够在最小的计算成本下，对离散概率分布进行采样和计算归一化分区函数，并在图模型方面得到了优越的性能。

    Jun, 2017

  • 有界随机变量的接近最优置信区间

    本研究提供了一种基于 Bentkus 集中结果的近乎最优置信序列，用于解决在线推断中随着样本大小不断增长需要统一有效置信区间的问题，证实这种置信序列在合成覆盖问题和自适应停止算法方面具有优越性。

    Jun, 2020

  • 通过连续松弛实现可重参数子集采样

    通过广义化 Gumbel-max 技巧，对子集采样实现连续松弛以提供可重参数梯度，应用于机器学习中的特征选择、深度随机 k 最近邻模型和参数 t-SNE 等任务中，提高了模型性能。

    Jan, 2019