- 从数据压缩角度测量数据修剪中样本重要性
数据压缩视角下的信息性剪枝方法可提高大语言模型（LLM）的泛化能力，并改进语言建模和下游任务的性能。
- 信息内容探索
稀疏奖励环境对于强化学习代理是具有挑战性的，本文提出了一种新的内在奖励，系统地量化探索行为并通过最大化代理路径的信息内容来促进状态覆盖，通过与其他探索性内在奖励技术（即好奇心驱动学习和随机网络蒸馏）进行比较，证明了该信息理论奖励具有高效探索 - 长文件的内容减少、惊讶度和信息密度估计
我们提出了四项用于估计长文档信息密度的标准，包括惊讶度、熵、均匀信息密度和词汇密度，并提出了一种基于注意力的临床笔记词语选择方法和多领域文档的机器摘要方法。实证结果表明不同领域的长文本信息密度存在系统差异，基于注意力的词语选择方法对于长临床 - 通过学习上下文和回应之间的模式信息来推动开放域对话生成
本文介绍了一种基于预训练语言模型（GPT-2）的开放域对话模型，通过学习训练样本中上下文和回复之间的隐式模式信息，改进了生成回复的质量。我们提出了改进的预训练模型的定期抽样方法，并设计了一种回复感知机制，使生成的回复更加多样化和接近人类回复 - ICLR分层变分自编码器中潜变量之间的交易信息
此论文研究了层次化变分自编码器中速率 / 失真权衡的问题，并提出了一个通用类别的推理模型，可以将解码速度分成各层的贡献，从而可以独立调节。我们根据下游任务的理论性能作为各个层速率的函数推导了理论界限，并在大规模实验中验证了我们的理论发现，这 - 论音乐序列的典型性
此研究表明，人们常用的英语词汇和单声部音乐序列中的事件信息含量接近于条件熵，并阐述了 “典型抽样” 如何影响个别事件和序列的信息分布。
- ACL对话中的建构重复降低信息传输速率
本研究旨在探究英语开放领域口语对话中词汇构造的重复现象及其对语言信息负荷的缓解效果，结合神经语言模型的信息内容定量分析结果表明，重复使用构造能够降低话语信息含量，特别是在频率和密度较高、涉及指称构造的情况下效果更佳。
- 彩色三维点云感知质量评估
本文介绍了一种新的基于信息内容加权结构相似性的 3D 点云质量评估方法及其数据库，实验结果表明该方法在预测主观质量评分方面表现优异，具有较高的再现性。
- ICML信息类别激活图
本研究旨在评估图像中某个标签的特定区域的定量信息内容，使用信息论来实现类激活映射和信息的桥梁，同时开发了一种信息化类激活映射 (infoCAM)。应用于图像分类任务中，infoCAM 可以更好地执行弱监督目标定位任务，实现了在 Tiny-I - AAAI基于整数线性规划的多句子压缩的多文档主题概括
本研究针对多文档摘要提出了一种基于整数线性规划模型的生成式摘要的方法，实验结果表明，该方法在信息内容和可读性方面均优于基线和先进的抽取式摘要器，且胜过最近提出的生成式摘要技术。
- 积极词汇所携带的信息量比消极词汇少
该研究研究了单词的情感内容、单词频率和信息内容之间的关系，发现情感取向积极的单词更频繁地使用；负面单词比积极单词更具信息量，并支持与情感和激情有关的假设。
- 分类系统中的语义相似性：一种基于信息的度量及其在自然语言歧义问题上的应用
本文提出了一种基于信息内容共享概念的 IS-A 分类法中语义相似度的度量方法。实验评估结果表明，该方法的性能表现优于传统的边计数方法，并展示了利用分类相似性解决句法和语义歧义的算法及其有效性的实验结果。
- IJCAI利用信息内容评估分类法中的语义相似性
本研究基于信息内容的概念，提出了一种新的 IS-A 分类法语义相似性的度量方式，并通过实验评估表明，该方式表现良好，与人类相似度判断数据相关系数为 0.79，显著优于传统的边缘计数方法。