本文研究强归纳偏见对于快速可适应性学习的影响，探讨神经网络是否具有互斥性偏见，并发现其归纳偏见与分类和翻译的终身学习公式不匹配，因此需要设计可通过互斥性进行推理的神经网络来解决这个挑战。

Jun, 2019

本文介绍了词表示学习的最新方法，通过互信息最大化来统一传统的词嵌入模型和现代上下文嵌入模型。此外，我们提出了一种构建新的自监督任务的框架，并提供了一种简单的自监督目标函数来最大化句子全局表示和 n-gram 之间的互信息。这种方法可以在自然语言处理、计算机视觉和音频处理等多个领域传递知识和推进进展。

Oct, 2019

该研究回顾了信息论模型及其能量函数和心理语言学、语言学习、信息论和协同语言学对该模型的评价，发现其能够解释 Zipf 定律、语音学习接受度偏好、对比原则、词汇学学习倾向和词汇识别次数定律，并且该模型的能量函数可以通过自组织来调整。

Dec, 2014

儿童单词学习中的互斥偏差对视觉束缚的语音模型具有影响，具备更多先验知识的模型表现出更强的互斥偏差。

Mar, 2024

从信息论的角度出发， 增加了一个竞争性的语序原则：目标元素可预测性的最大化，进一步完善了词序的数学理论。 然而依存长度的最小化与可预测性最大化之间存在矛盾，对于头的最大化可预测性，头应该出现在最后，这最大化了相对于依存长度最小化的成本。本文回顾了这种广泛的理论框架对于理解主语，宾语和动词 6 种可能排序的最优性，多样性和演化的影响。

May, 2017

利用信息论的有关发现，我们提出了一种新的端到端优化策略，该策略同时估计和最小化学习表示和数据属性之间的互信息，通过这种策略，我们的模型在标准基准测试中表现出与最先进的方法相当或优越的分类性能，此方法可应用于问题的 “算法公平性”，并得到了竞争性的结果。

Mar, 2020

通过信息理论和深度学习，本研究考察了生物符号学中的选择过程，特别是儿童词汇学习偏见的弱化和 Zipf 词汇分布定律的影响因素。研究结果也为未来在生物符号学其它方面的实验研究提供了参考。

May, 2021

本研究发现目前 NLI 模型在处理具有低重叠度的 “假设” 和 “前提” 时，很容易出现双向重叠偏差，当前的去除偏差方法对这种类型的偏差并无效果，探究了重叠偏差产生的原因和在减轻此类偏差方面少数类样例的作用，并发现其并非是源于预训练。

Nov, 2022

本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

Jul, 2019

本文提出了一个新的对于词性识别的方法，将词标签和上下文之间的互信息最大化来进行词性归纳。作者聚焦于两个适用于随机梯度下降的训练目标：一种对于经典的 Brown 聚类目标的新的泛化方法和一种最近提出的变分下限。尽管这两个方法都会受到梯度更新噪声的影响，但是作者通过分析及实验表明，变分下限方法更加鲁棒，而广义 Brown 目标则更加容易受到影响。作者提出了一个简单的框架来编码词汇和上下文，并在多个数据集和语言中实现了竞争性的性能。

Apr, 2018