本文介绍了词表示学习的最新方法，通过互信息最大化来统一传统的词嵌入模型和现代上下文嵌入模型。此外，我们提出了一种构建新的自监督任务的框架，并提供了一种简单的自监督目标函数来最大化句子全局表示和 n-gram 之间的互信息。这种方法可以在自然语言处理、计算机视觉和音频处理等多个领域传递知识和推进进展。

Oct, 2019

该研究针对无标注文本完全无监督学习语法 (词性) 类别的问题，通过参数和非参数约束对标准的最大似然隐马尔可夫模型进行优化和修改和达到了在多种语言上显著提高的效果。

Jan, 2014

该论文提出了一种基于核特征值分解的新型信息最大化聚类方法，该方法使用变体的互信息的平方误差作为目标函数进行聚类，具有高效性和可解性。同时，该方法还提供了一个实用的模型选择过程来优化核函数中包含的调整参数，并通过实验证明了该方法的实用性。

Dec, 2011

本研究提出使用互信息优化结构化潜变量和目标变量之间的关联，通过对抗目标函数可在二进制编码上估算互信息，应用于文件哈希上表现卓越且高度压缩。

Apr, 2020

通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

Aug, 2018

本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

Sep, 2022

该研究提出了一种基于最大化共享环境的多视角特征提取之间的互信息来进行自我监督表示学习的方法，并通过使用该方法建立一个模型，该模型学习到的图像表示在 ImageNet 等任务上的表现优于以前的方法。

Jun, 2019

本文提出一种新的学习方法，通过最大化问题答案对及预测解决方案之间的相互信息，显式利用问题与其解决方案之间的语义相关性，以缓解粗略监督下答案导出过程中可能出现的虚假解决方案。在四个问答数据集上的实验证明，该方法在任务性能方面明显优于以往的学习方法，并且在训练模型产生正确的解决方案方面更加有效。

Jun, 2021

通过信息最大化（InfoMax）概率参数分类器的视角，本文重新探讨了泛化类别发现的挑战，发现通过确保已知和未知类的独立性，同时假设在所有类别上保持均匀的概率分布，可以扩大已知和未知类之间的边界，从而提高模型的性能。为了实现上述独立性，我们提出了一种基于新颖的 InfoMax 方法，即正则化参数 InfoMax（RPIM），该方法在 InfoMax 过程中使用伪标签监督未标记样本，并提出一种正则化方法来确保伪标签的质量。此外，我们引入了基于语义偏差转换的新颖特征优化方法，而不是直接微调来减少计算成本。大量实验在六个基准数据集上验证了我们方法的有效性。RPIM 在未知类方面显著提高了性能，超过了现有技术方法的 3.5％的平均边界。

May, 2024

采用局部信息论方法显式地学习离散随机变量的概率聚类，并且通过渐近升级和交替升级算法来解决优化问题。 通过与现有技术的竞争和实验验证，表明该方法值得进一步研究。

Oct, 2018