- 通过视觉令牌撤回，提升多模态大型语言模型的快速推理能力
通过引入 Visual Tokens Withdrawal 模块以提升 Multimodal large language models 在快速推理方面的性能，通过分析注意力集中现象和信息迁移现象，我们发现在深层的 MLLMs 中不需要视觉 - 绿色特斯林在特斯林机框架中的重新定义效率
Green Tsetlin 是一个易于使用的 Tsetlin Machine 框架，旨在降低复杂性并提供一个适用于经验丰富的从业者和初学者的可生产的 TM 实现。
- E2GNN：高效的半监督分类图神经网络集成
该研究旨在研究半监督条件下图神经网络（GNNs）的集成学习。通过将多个薄弱学习器的输出组合起来，集成学习已经在传统机器学习中提高准确性和鲁棒性方面显示出优越性。然而，在集成不同的 GNN 模型时，由于 GNN 的推理能力较差，这个想法很具有 - 联邦边缘推理中的因果影响
考虑了使用未标记的流数据进行推理的具有异质代理和连接性的背景。代理相互合作，通过交换本地推断以及通过融合中心，使用因果框架评估代理对整体决策的实际影响。研究了反映不同代理参与模式和融合中心策略的各种场景，并推导出表示每个代理对联合决策的因果 - 动态局部平均治疗效应
动态治疗方案中的非合规问题的非参数识别、估计和推断
- 指数族潜变量模型中精确推理与学习的统一理论
该论文研究了概率图模型中精确实现推断和学习的条件，并开发出相应的算法，通过展示各种示例模型的应用，最终展示了如何将这些模型组合成可处理的概率图模型。
- 通过前提删除干预探索细粒度 LLM 物理推理的极限
通过使用一个涵盖多种符号和物理子领域的精选数据集，本研究评估了语言模型在进行细粒度数学和物理推理方面的能力，发现模型的数学推理在物理语境中缺乏信息，更多地倾向于逆向工程解决方案。
- 离散贝叶斯优化的连续放松
通过连续松弛目标函数，我们提出了一种在贝叶斯优化中高效优化离散数据的方法，并证明了推理和优化是可计算的。我们特别考虑了少量观测和严格预算的优化领域，以优化昂贵的生物化学属性评估中的蛋白质序列。我们的方法具有两个优势：将问题在连续设置中处理， - 层级跳过：在推断中实现早期退出和自我推测解码
通过应用层丢弃和早期退出损失的训练技术，在推理过程中加快大型语言模型的速度，并推出了一种新颖的自我推测编码解决方案，该解决方案减少了内存占用，并在不同训练任务上实现了高达 2.16 倍的加速。
- 快速集成扩散薛定谔桥
通过使用 Diffusion Bridge Network (DBN) 方法，可以减少深度集成方法的计算开销以及推断阶段的前向传递，从而提高准确性和不确定性分数。
- 基于熵指导的外推解码方法提升大型语言模型中的事实准确性
大型语言模型 (LLMs) 具备令人印象深刻的自然语言处理能力，但存在虚构结果的问题。最近的研究关注于解码技术，通过利用 LLMs 的分层表示技术及在推理过程中操纵预测分布，提高真实性。本文通过超出最后一层的关键标记概率外推和基于层次熵的下 - 文本到图像扩散模型中的交叉注意力使推理繁琐
该研究探讨了文本条件扩散模型在推理过程中的跨注意力的作用。研究发现，跨注意力输出在几个推理步骤后趋于一个固定点。因此，收敛的时间点自然地将整个推理过程分为两个阶段：初始的语义规划阶段，此阶段模型依赖于跨注意力来规划与文本相关的视觉语义；以及 - 通过 Hammersley-Chapman-Robbins 界限保证机密性
通过在最后几层的激活中添加噪声，可以保护深度神经网络在推断过程中的隐私，防止从噪声特征中重构输入，而 Hammerｓley 和 Chapman Robbins 的经典不等式提供了可行的计算上可行的下界模型，但对于已在 ImageNet 数据 - 语言模型是否对未来的标记进行计划？
transformers 在推断期间是否有预先思考。我们提出了两种解释：预缓存和面包屑。通过训练语言模型来测试这些假设，我们在合成数据设置和自回归语言建模设置中找到了明确的证据。
- ICLR冻住！通过信号传播分析提高大型语言模型的量化知识蒸馏
该研究提出了一种轻量级量化感知微调技术，使用知识蒸馏来改进 4 位权重量化大语言模型的性能，并通过对梯度传播进行实证研究以稳定 KD-QAT 过程。通过 ov-freeze 技术，在 4 位量化级别上实现了接近浮点精度性能，在常识推理基准测 - 重建光谱中的 Sim2Real：基于增强设备信息数据模拟的深度学习
本研究提出了一种基于深度学习的框架 Sim2Real，用于重建光谱信号中的谱信号重建，在于有效数据采样和快速推理时间。该工作着重解决了仅有经过设备训练的模拟数据的极端设置下，重建真实世界光谱信号的挑战，在此设置中，模拟数据虽然比真实世界数据 - COLING元认知分析：对数据集和大型语言模型中的陈述性和程序性知识进行评估
本文从新的角度为 LLMs 提供基本知识并评估其有效性，通过广泛实验得出结论：（1）在大多数任务中，声明性知识比过程性知识产生更多益处。（2）只有在简单逻辑推理任务中，过程性知识的收益才大于声明性知识。（3）随着预训练的进行和规模的增大，模 - 一种面向边缘低延迟和高能效的 DNN 推理的转换自编码器
提出了一种基于自动编码器和轻量级 DNN 的新颖方法，用于在资源受限的边缘设备上减少推理时间和能源消耗，实验证明其在推理延迟上可以获得高达 4.8 倍的加速，并且在准确率方面保持相似或更高的情况下降低了 79％的能源使用。
- 基于 Transformer 的统计参数估计
基于 Transformer 的方法在参数估计中能够无需数学推导、密闭解、或概率密度函数，仅需单次推断即可根据样本观测值估计潜在分布的参数，与最大似然估计相比在常用分布上达到更高的精确度。
- TruthX: 在真实空间中编辑大型语言模型以减轻幻觉
TruthX 通过编辑语言模型内部表达的真实空间，有效提高了 13 个先进语言模型在 TruthfulQA 基准测试上的真实性表现，平均提升了 20%。进一步分析表明，TruthX 获取的真实空间在控制语言模型产生真实或幻觉性回答中发挥了关