关键词information compression
搜索结果 - 10
- 基于压缩的 LLM 排名
我们将理解过程视为信息压缩，并提出了一种基于无损数据压缩的大型语言模型（LLMs）排序方法。我们使用五个大型语言模型作为压缩的先验，并比较它们在困难的自然语言处理任务中的性能，包括句子完成、问题回答和共指消解。实验结果表明，压缩比率和模型性 - 增强检索辅助语言模型的双阶段一致性学习压缩器
该论文提出了一种新颖的两阶段一致性学习方法，用于改进检索增强语言模型的性能，通过整合一致性学习，目标是生成与教师模型的语义表示保持一致并提高对原始检索文档的忠实程度的摘要，经过多个数据集的经验证明，在问答任务中具有显著的精确性和效率提升，优 - AAAI扩展与量化：使用高维空间和乘积量化的无监督语义分割
无监督语义分割是发现和识别有意义类别而不使用任何标签的方法之一，本文提出了一种新的无监督语义分割框架（EQUSS），它结合了高维空间的好处以进行更好的聚类和产品量化以实现有效的信息压缩，并在三个标准基准测试中取得了最先进的结果。此外，我们还 - 透明信息瓶颈下的解耦表示学习
通过传递信息的贝叶斯网络，我们引入了 DisTIB（传递信息瓶颈）作为一种导航信息压缩和保留之间平衡的新目标，通过可变推理和重参数化技巧获得了可优化的估计，实验证明其能够实现最优的解缠效果。
- 基于 GPT 压缩的近似人类化少样本学习
利用生成式预训练模型进行信息压缩，估计少样本学习的最优信息距离，以及直接应用于定量文本相似性测量的方法。
- CVPR可度量多样性的异常检测
本文提出了一种名为 DMAD 的新型异常检测框架，该框架采用金字塔变形模块 (PDM) 设计多样化正常情况，并通过信息压缩模块，将变形从原型嵌入中分离，以使最终的异常得分更加可靠。实验证明，DMAD 在监控视频和工业图像中均有很好的效果。
- ACL通过生成和压缩信息进行基于跨度的命名实体识别
本文提出将生成模型和信息压缩模型结合在一起，通过信息瓶颈模型提高命名实体识别（NER）性能。通过实验证明，联合训练生成模型和信息压缩模型可以增强基线的基于 span 的 NER 系统的性能。
- ICLRPAC-Bayes 信息瓶颈
提出了一种有效的算法来近似存储在权重中的信息（IIW）并基于此构建了一种基于准确性和信息复杂度之间的权衡的 IIW 信息瓶颈（PIB），从中可以在 NN 培训期间经验性地确定压缩相变的适应性和 IIW 压缩与泛化之间的具体联系。此外，还提出 - 压缩视觉表征
本文提出将信息压缩融合到自监督学习的对比学习和隐变量引导方法中，可以得到更好、更鲁棒的视觉表示，实验证明添加压缩确实可以显著提高在多个领域中的模型性能和稳健性。
- 信息论下的最优重整化群变换
本文探讨了粗粒化过程的信息理论特性，证明了 RSMI 粗粒化不会增加简化哈密顿量中相互作用的范围，并抑制了规范化扰动分布中相关性的产生，通过实证验证了信息保留与压缩相关的减小复杂度的度量，以及在一般 RG 过程中粗粒化的度数和类型的限制所产