ACLJun, 2021

弱监督问答中虚假解决方案问题的互信息最大化方法

PDF
TL;DR本文提出一种新的学习方法，通过最大化问题答案对及预测解决方案之间的相互信息，显式利用问题与其解决方案之间的语义相关性，以缓解粗略监督下答案导出过程中可能出现的虚假解决方案。在四个问答数据集上的实验证明，该方法在任务性能方面明显优于以往的学习方法，并且在训练模型产生正确的解决方案方面更加有效。
发现论文，激发创造
  • QAInfomax：通过最大化互信息学习强健的问答系统

    通过提出 QAInfomax 作为阅读理解系统的正则化器来最大化段落、问题和答案之间的互信息，以解决现有系统无法区分搅扰句子的问题。实验证明，我们提出的 QAInfomax 在 Adversarial-SQuAD 数据集上实现了最新的性能。

    Aug, 2019

  • 信息最大化准则的自监督学习

    本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

    Sep, 2022

  • 一种离散的 Hard EM 方法用于弱监督问题回答

    本研究以一组正确解决方案为基础，通过修改研究问题为离散潜在变量的学习问题，结合硬 EM 学习方案以及最可能的解决方案计算梯度，在 6 个 QA 任务中证明了该方法明显优于以往方法，并在其中 5 个任务中取得了最优结果。我们通过详细的定性分析表明，使用硬更新而不是最大化边际似然值是这些结果的关键，因为它鼓励模型找到一个正确的答案。

    Sep, 2019

  • 关于表示学习的互信息最大化

    本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

    Jul, 2019

  • 基于平方损失互信息的信息最大化聚类

    该论文提出了一种基于核特征值分解的新型信息最大化聚类方法，该方法使用变体的互信息的平方误差作为目标函数进行聚类，具有高效性和可解性。同时，该方法还提供了一个实用的模型选择过程来优化核函数中包含的调整参数，并通过实验证明了该方法的实用性。

    Dec, 2011

  • 使用检索边际化减轻多文档问答中虚阴性情境

    本文提出了一种新的参数化集值检索模型，能够处理具有多个文档和无法回答的查询，通过对检索候选项进行边际化，进而降低样本标注噪声带来的影响，并在两个多文档 QA 数据集上取得了最优表现。

    Mar, 2021

  • 相关信息最大化：一种无需权重对称的监督式深度神经网络的生物学可行方法

    提出了一种新的神经网络层间激活的相关信息最大化的正式框架，从而解决了传统反向传播算法的生物学上的可信度问题，并提供了一种自然的权重对称问题的解决方案。

    Jun, 2023

  • 通过对抗最大化互信息来学习离散结构表示

    本研究提出使用互信息优化结构化潜变量和目标变量之间的关联，通过对抗目标函数可在二进制编码上估算互信息，应用于文件哈希上表现卓越且高度压缩。

    Apr, 2020

  • 内在动机强化学习的变分信息最大化

    本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

    Sep, 2015

  • 从两块岩石中获取水：最大化互信息

    通过同一的信息理论方法，我们建立了学习问题、共训练、预测引导无需验证及与同行预测相关之间的自然联系。我们通过将问题转化为优化问题来展示如何将数据的两个视图进行最优组合，同时，我们从独立条件出发，提出了预测引导机制，使得真话坦白成为单任务和多任务设置均为严格均衡状态。

    Feb, 2018