May, 2024

基于点互信息的真实数据集估值

PDF
TL;DR提出了一种新的数据评估方法，通过使用合适的评分规则和点间互信息测量来保证数据供应商总是通过真实报告观测到的数据来最大化他们的预期得分，该方法在贝叶斯机器学习环境中引入了一种新的点间互信息测量方法，证明了它在鲁棒性和对过拟合敏感性方面的优越性。
data valuation methodproper scoring rulespointwise mutual informationbayesian machine learningoverfitting
发现论文，激发创造
  • 基于点互信息度量和解码策略的文本对话生成中忠实度实现

    本文提出了一种基于点互信息的新的响应语义度量指标，并将其应用于深度学习生成模型生成对话的评估和后续的响应生成过程中，可以获得更可信和真实的自动响应。

    May, 2023

  • C-PMI: 条件点间互信息用于对话轮次评估

    提出了一种新的模型无关方法，利用条件点互信息来衡量给定评估维度下系统和用户之间的对话交互，实验结果显示，与现有的评估系统相比，该方法在广泛使用的 FED 对话评估数据集上显著提高了与人类判断的相关性，在 FED 评估指标上平均达到了 60.5％的相关性提高率。

    Jun, 2023

  • 利用点互信息的非监督式抽取式摘要

    通过使用点间互信息（PMI）计算相关性和冗余度量来提高提取性摘要，同时开展贪婪句子选择算法以最大化提取的句子的相关性和最小化冗余度。

    Feb, 2021

  • 在没有基准实例的情况下，评估模型的偏差

    这篇研究提出了一种解决机器学习中偏见问题的数学方法，利用图像分类作为工作示例，通过将分类模型对给定图像的预测视为类似于单词袋的标签集合，排名模型对不同身份标签学习的偏见。作者使用（男人，女人）作为身份标签集的具体例子，并展示了最偏向一个身份或另一个身份的标签的排名。最后，作者利用 TensorBoard 提供了开源的 nPMI 可视化工具。

    Mar, 2021

  • 探究自动机器翻译度量评估中的数据差异

    该研究发现自动翻译评价指标的表现对数据具有敏感性，而在评估时需要考虑数据差异，因为单一数据集的研究结果可能会导致与大多数其他数据集不一致的结果。

    Mar, 2022

  • 基于神经网络的逐点依存关系估计方法

    本文提出了两种方法（Probabilistic Classifier 和 Density-Ratio Fitting）来解决 MI 估计中存在的方差大的问题，这两种方法可以自然地获得点对点的依赖信息，为自监督学习和跨模态检索任务提供了有效方法。

    Jun, 2020

  • 信息熵探测的贝叶斯框架

    该论文提出了一种名为贝叶斯互信息的新框架，它从贝叶斯代理的角度分析信息，使得在有限数据情况下处理可以帮助增加信息的同时也有可能削减信息，更加符合机器学习应用的直觉，最终将该框架运用到探针任务中，通过限制可用背景知识来实现抽取的易于性。

    Sep, 2021

  • LAVA: 无需预先指定学习算法的数据估值

    本文介绍了一种新的数据估值框架，可以在不确定具体学习算法的情况下对数据进行估值，并提出了基于 Wasserstein 距离和敏感性分析的方法来估值，可以检测低质量的数据并在性能方面显著提高。

    Apr, 2023

  • $α$- 互信息：数据共享隐私保护的可调节性隐私度量

    本研究使用 Arimoto 的 α- 互信息作为可调的隐私度量，在防止向对手泄露私人数据的隐私保护数据发布环境中，通过微调隐私度量，展示了我们的方法在各种性能维度上有效地阻挡攻击者的能力。

    Oct, 2023

  • MIM4DD：数据集精炼的互信息最大化

    我们引入互信息作为衡量合成数据集与真实数据集之间共享信息量的度量标准，并通过对比学习框架内的新设计的可优化目标来数值化地最大化互信息，从而更新合成数据集。实验证明，这种方法可以作为现有先进方法的附加模块来实现数据集精简。

    Dec, 2023