- ReduceFormer：通过求和进行张量缩减的注意力
Transformers 的计算机视觉任务中，通过使用简化架构和改进的推理性能的 ReduceFormer 模型系列，有效地解决了传统 Transformer 模型中的计算问题，降低了延迟和提高了吞吐量，适用于计算资源和内存带宽有限的边缘设 - Xmodel-LM 技术报告
我们介绍了 Xmodel-LM，这是一个在超过 2 万亿个标记上进行预训练的紧凑高效的 1.1B 语言模型，通过在我们自建的数据集 (Xdata) 上进行训练，该数据集在下游任务优化的基础上平衡了中文和英文文本，尽管模型规模较小，但 Xmo - Tele-FLM 技术报告
大语言模型的扩展和效率提升方法的开放资源，以及展示优于其他模型的跨语言语言建模能力和核心设计。
- Megalodon: 高效的 LLM 预训练与无限上下文长度的推断
Megalodon 是一种用于有效的序列建模，能处理长序列的神经架构，通过引入多个技术组件，包括复杂的指数移动平均值、时间步归一化层、归一化注意机制和双跳剩余配置，提高了其能力和稳定性，在与 Llama2 的对比中在 70 亿参数和 2 万 - 通过直接的跨模态映射和几何规则化进行快速的文本到 3D 感知人脸生成和操纵
提出了一种高效并且准确的网络，用于快速生成和处理 3D 感知人脸，名为 $E^3$-FaceNet，通过直接映射文本指令到 3D 感知的视觉空间，实现类似图片的 3D 人脸生成和处理，并显著提高推断速度。
- 高效公正稀疏化
无偏稀疏化是对随机向量进行压缩而不引入偏差的方法，在排列不变和可分离加性的情况下，我们描述了最佳无偏稀疏化的特征，它可以适用于各种不同的差异函数。
- 超级智能体：用于复杂环境的简洁、可扩展、高效和可证明的强化学习框架
提出了一种基于 HyperAgent 的强化学习框架，通过超模型、索引采样方案和增量更新机制，在资源约束下实现对复杂任务的简化、高效和可伸缩性，以及超越共轭的通用值函数近似下的计算高效的顺序后验近似和数据高效的动作选择。
- 从单视角视频快速动态生成三维物体
提出了一种高效的视频到 4D 对象生成框架 Efficient4D，能够在连续的摄像机轨迹下实时渲染高质量的时空一致图像，通过直接训练具有明确点云几何结构的新颖 4D 高斯涂层模型，大大提升了速度，同时保持创新视角合成质量。
- AAAI使用元提示的测试时个性化目光估计
通过采用自然语言处理 (NLP) 的最新进展来实现高效个性化目光估计，同时在测试时通过较少数量的参数更新来保证迅速的适应速度，并通过元学习来确保更新与目标一致。
- LEDITS++：利用文本 - 图像模型进行无限图像编辑
文本到图像扩散模型对于仅使用文本输入产生高保真度图像的惊人能力近来引起了 increasing interest。然而，现有的图像到图像方法常常低效、不精确且使用范围有限。为了解决这些问题，我们介绍了一种高效且多用途的精确文本图像操作技术 - ET3D：通过多视角蒸馏实现高效的文本到三维生成
通过使用大型预训练的文本到图像扩散模型生成的图像作为监督信号，我们提出了一种高效的文本到 3D 生成方法，在消费级显卡上仅需约 8 毫秒即可根据文本提示生成一个 3D 资产，并且不需要 3D 训练数据，通过提炼预训练图像扩散模型为高效文本到 - 高效的超列关联语义匹配
利用多尺度相关图的潜力，提出了一种高效的语义匹配方法 HCCNet，通过特征分割和点卷积等操作，实现了在语义匹配上具有先进水平或有竞争力的性能，同时降低了延迟和计算开销。
- DiPmark: 一种隐蔽、高效和韧性的大型语言模型水印
我们的研究扩展和完善了现有的水印技术框架，强调了分布保持水印的重要性。与当前的策略相反，我们提出的 DiPmark 在水印过程中保持原始令牌分布（隐秘性），能够在没有访问语言模型 API 或权重的情况下被检测到（高效性），而且对于令牌的中等 - 东方：用于推断的高效准确的安全 Transformer 框架
本研究提出了一个名为 East 的框架，用于实现高效和精确的安全 Transformer 推断，通过提出新的忽略式分段多项式评估算法，并将其应用于激活函数，减少了 GELU 的运行时间和通信量，同时精心设计了 Softmax 和层归一化的安 - 利用去噪扩散概率模型检测面部混合攻击
本文介绍了一种基于扩散的新型高效 MAD 方法，学习纯粹的真实图像的特征，实现对不同形态的变形攻击的检测。在四个不同数据集上进行了严格的实验，并与现有解决方案进行了比较，结果表明我们的 MAD 模型在所有数据集上都取得了高竞争力的结果。
- 使用 Transformer 进行时间序列预测的训练期间自适应稀疏级别
本文提出了一种名为 PALS 的自适应稀疏度剪枝方法，该方法可以在训练期间自动找到最佳的稀疏度和损失之间的平衡，将其应用到时间序列预测等领域，可以显著减小模型大小和参数数量，提高计算效率。
- 键值变换器
通过对 QKV 模式性能进行评估，我们发现一个结合了 2D 位置编码的不对称的 KV 变压器常常比 QKV 变压器更有效且需要更少的参数和计算。
- KDD硬件库中的布尔权重优化的收敛和比例缩放
本研究针对神经网络的硬件实现，提出了一种基于坐标下降的优化策略，通过对神经网络幅度统计及权重更新规则的优化，有效提高神经网络的收敛速度和效率。
- CeFlow：使用标准化流的稳健高效表格数据反事实解释框架
本文介绍了一种称为 CeFlow 的鲁棒且高效的计数事实解释框架，其利用正态化流来解决采样不稳定和计算速度慢的问题，并具有与最先进的方法相当的性能。
- CVPR改变压缩视频分辨率以高效进行语义分割
本文提出了一种称为 AR-Seg 的改变分辨率框架，旨在通过使用低分辨率来减少非关键帧的计算成本，同时避免降采样引起的性能下降，CReFF 模块能够更好地进行空间对齐和聚合，FST 策略能够通过显式相似性损失和隐式约束提高分割准确性，Cam