Nov, 2023

用信息解释来描述语言模型解码中的权衡特征

PDF
TL;DR我们提出了一个理论框架，用于利用动态规划和信息论来构建语言模型解码器算法。通过动态规划，我们将解码器算法的设计从逻辑空间提升到动作 - 状态值函数空间，并展示解码算法是优化动作 - 状态值函数的结果。动作 - 状态值函数空间的每个组件都具有信息论解释。通过提升和解释，变得明显解码器算法的优化目标是什么，因此有助于在合理性、多样性和权衡中进行调节。
language model decoderdynamic programminginformation theoryaction-state value functionstradeoffs
发现论文，激发创造
  • 编码语言信息与任务表现之间关系的可视化

    使用 Pareto Optimality 观点研究编码的语言信息和任务性能之间的动态关系，提出了一种多目标优化的方法，通过对两个流行的 NLP 任务进行实验发现，一些句法信息有助于 NLP 任务，而编码更多的句法信息不一定能够提高性能。

    Mar, 2022

  • 自适应信息信念空间规划

    该研究旨在使用奖励函数来有效地做出明智的决策，通过提出抽象观测模型来降低计算成本并推导出期望信息论奖励函数的界限以及价值函数的界限，同时，提出了一种用于改善聚合方法的方法，实现了相同动作选择的计算时间减少。

    Jan, 2022

  • 语言模型解码作为似然度 - 效用匹配

    这篇论文提出了一种消减可能存在的语言生成模型中的似然度与任务特定效用误差的分类方法，并分析了该方法在不同任务中的可行性，并提供了一组决策根据，决定选择哪种解码算法。

    Oct, 2022

  • 间歇可观察的马尔科夫决策过程

    本文研究了在不稳定状态信息下的 MDP，提出了一种基于树组织结构和值迭代算法的有限状态近似方法来寻找最优策略。

    Feb, 2023

  • 自然语言生成中的多样性与质量的权衡

    将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

    Apr, 2020

  • 语言模型解码作为直接度量优化

    通过在语言模型中引入优化问题的框架，我们提出了一种新的解码分布，该分布通过序列级能量函数定义多个度量标准来改善与人类文本的语义一致性，实验证明我们的方法在与人类文本的度量标准一致性和人类评估方面优于强基准模型。

    Oct, 2023

  • 语言模型能够减少信息市场的不对称

    这篇论文通过建立一个开源模拟数字市场，利用语言模型驱动的智能代理人代表外部参与者买卖信息，解决了买方对信息市场的检查悖论。代理人具备评估特权信息质量和选择性遗忘的能力，使得卖家能够临时授权专有信息的访问，从而显著减少未经授权的保留风险，同时使代理人能够准确衡量信息与特定查询或任务的相关性。实验证明，语言模型存在偏见导致非理性行为，可以通过评估和缓解这些偏见、调查价格如何影响信息商品的需求，以及检查和增加预算对结果质量的提升等方面来改善。

    Mar, 2024

  • 针对多种动作的汤普森取样的信息论分析

    本论文提供了一种新的、基于编码的方法，用于证明 Russo 和 Van RoyBayesian 遗憾界制度对先验不确定性的依赖性，其通过熵以及由于动作数量的不断增加，熵可以变得无限大。通过引入率失真的概念，建立了新的界，从而通过信息理论的方法来推导线性选择组失策问题的几乎最优界，并提供了逻辑选择组失策问题的一个界，比以前提供的界显著改善。

    May, 2018

  • 面向离散字母的有向信息数据驱动优化

    本文提出了一种使用强化学习技术对离散输入空间中的定向信息进行估计和优化的框架，并将其应用于估计各种离散通道（包括前馈和反馈）的能力。

    Jan, 2023

  • 条件语言模型的不同解码方法比较

    调查许多分歧解码策略，在不损失质量的前提下通过过量抽样生成候选序列，并在筛选后从候选列表中生成多样化的结果。

    Jun, 2019