EMNLPOct, 2023

信息值：以可行替代方案的距离来衡量话语的可预测性

PDF
TL;DR我们介绍一种度量信息价值的方法，使用神经文本生成器获取可解释的信息价值估计，并利用其心理测量预测能力来研究驱动人类理解行为的可预测性维度。信息价值比词元级惊异度的汇总更好地预测书面和口头对话中的话语可接受性，并且对预测通过眼动阅读时间衡量的能力是互补的。
发现论文，激发创造
  • 使用信息理论 Shapley 值解释预测不确定性

    本文提出一种将 Shapley 值框架用于解释各种预测不确定性的方法，旨在通过量化每个特征对个体模型输出的条件熵的贡献来解释模型输出的不确定度；该方法具有用于协变量转移检测、主动学习、特征选择和主动特征值获取的应用。

    Jun, 2023

  • 语言模型性能度量在心理语言学建模中的应用：人们阅读行为的概率预测

    通过对现代神经结构的分析，提出一种新的语言建模表现度量并与人类主观认知语言处理结果的相关性来重新评估 Goodkind 和 Bicknell（2018 年）的观点，证明了一种基于困惑度的语言模型能否对阅读时间进行建模的线性假设不适用于 LSTM 网络，变形器和预训练模型。

    Sep, 2020

  • 关于词类比测试预测信息内容的研究

    提出了一种方法来以信息量的位数量化类比测试中类比的实际相关性，主要组件是一种软准确度估计器，还提供了具有补偿偏差的熵估计，使用预训练的 GloVe 300-D 向量和两个公共类比测试集获得的实验结果表明，从信息内容的角度来看，接近度提示比类比更相关，因此，使用简单的词嵌入模型预测类比携带约一位信息量，这得到了实验的验证。

    Oct, 2022

  • 通过判别 - 评论间隙测量语言模型中的价值理解

    通过使用价值理解测量框架（VUM） quantitatively 评估 “知道什么” 和 “知道为什么”，我们评估了五个典型的大型语言模型。结果显示，扩展法则显著影响 “知道什么”，但对 “知道为什么” 的影响不大，而后者始终保持在较高的水平。这可能进一步表明，大型语言模型可能会根据提供的上下文构建合理的解释，但并不真正理解其中的内在价值，表明潜在的风险。

    Sep, 2023

  • 文本解释中的信息测量

    通过将解释信息放在信息论框架中，我们提出并量化了两种文本解释方法的信息流，并提供了对它们进行评估的工具和标准，从而为可解释的 AI 领域建立了严格和标准化的评估标准。

    Oct, 2023

  • 语义不确定性：自然语言生成中不确定性估计的语言不变性

    本文提出了一种测量大型语言模型中不确定性的方法，介绍了语义熵的概念，并且证明该方法在问答任务上的准确性优于基线模型。

    Feb, 2023

  • 关于信息和证明的关系

    本文提出了一种基于证明的信息量度量方法，该方法以涉及待证公式的可能证明集合（即 “知识库”）定义概率度量，使用熵的方法计算信息量。

    May, 2022

  • 不言而喻的替代选择与语用推断的期望

    本研究使用神经语言模型来近似人类的预测分布，发现强度相似性的可预期性是解释标度内和标度间变异的共同机制，并且这种预期在概念层面上解释跨标度变异。该研究表明，言语推理源自于对概念水平上备选项的基于语境的期望。

    Apr, 2023

  • 重新审视一致信息密度假设

    本文研究了统一信息密度假说对于语言理解和语言可接受性的影响，使用阅读时间和可接受性数据，发现信息密度的不均匀性会降低可接受性，而统一信息密度假说可以部分解释语言压缩的趋势。

    Sep, 2021

  • 对话响应中的解码算法如何分配信息？

    研究人类在对话中遵循 Uniform Information Density 原则的情况下，使用 GPT-2 在 Persona-Chat 数据集上生成响应，发现解码算法促进 Uniform Information Density 并不会生成更高质量的响应，相反，鼓励非一致性响应则是解决质量退化问题的潜在解决方案。

    Mar, 2023