- 通过世界动态建模提升智能体学习能力
通过自动化动态学习框架 DiVE 指导的大型语言模型在 Crafter 环境中能够做出决策，实现与人类玩家相当的奖励。
- iNNspector：可视化、交互式深度模型调试
通过系统分析深度学习模型的数据，深入理解、诊断和改进模型行为，利用 iNNspector 系统提供的交互可视化工具，对多个模型和单个神经元的多个层次的数据进行跟踪和评估，证明了其有效性和易用性。
- 探究政治偏见对大型语言模型在立场分类中的影响
该研究通过分析三个数据集、七个大型语言模型和四种不同的提示方案，发现大型语言模型具有政治倾向分类任务性能上的显著差异，并且这种差异主要出现在数据集层次上，模型和提示方案在不同的倾向分类数据集上表现出了统计上相似的性能。此外，研究还观察到当目 - 变色龙：鲁棒的多模态学习需要图片
提出了一种名为 Chameleon 的鲁棒文本 - 视觉多模态学习方法，通过将文本模态编码成视觉表示，实现了输入模态的统一格式，并且在缺失模态的情况下仍能表现出卓越的性能。
- DDK：用于高效大语言模型的领域知识蒸馏
该论文介绍了一种名为 DDK 的新的大型语言模型蒸馏框架，通过根据教师模型与学生模型之间的领域性能差异动态调整蒸馏数据集的组成，使蒸馏过程更加稳定和有效，从而显著提高了学生模型的性能，在性能上优于持续预训练基准和现有的知识蒸馏方法。
- YOLOv10 用于儿童腕部创伤 X 射线自动断裂检测
评估了各种 YOLOv10 变体在 GRAZPEDWRI-DX 数据集上检测儿童腕骨折性能方面的表现，结果显示我们的训练模型达到了平均精确度 (mAP@50-95) 51.9%，超过了该数据集上当前 YOLOv9 基准的 43.3%，提高了 - 注意力不是全部所需 —— 用于大型语言模型的推理
通过在推理时间删除多余的 MLP 和 attention 层，我们研究了对 Llama-v2 模型性能的影响，并发现仅删除少数注意力层略微降低性能，但与删除整个层相比，会带来更好的加速效果。
- 利用结构化表示增强逐步摘要
使用结构化的知识表示（$GU_{json}$）在处理大型语言模型（LLMs）时，用链式关键策略（$CoK_{json}$）动态更新或增补这些表示，从而提高了 40% 和 14% 的摘要性能，进一步在两个公共数据集上提升了 7% 和 4% 的 - 解析、集成、精准：理解 Transformer 如何回答多项选择题
多项选择题回答是性能优越的变换器语言模型的关键能力，本研究探讨了成功模型在格式化多项选择题回答任务中的表现，并通过词汇映射和活化修复方法定位编码相关信息的关键隐藏状态。结果发现，特定答案预测符号与中间层的多头自注意机制有因果关联，随后层次增 - 噪声下科尔莫戈洛夫 - 阿诺德网络效应减弱
应用过采样和滤波策略可以减轻噪声的不利影响，但确定滤波过程的最优方差是具有挑战性的，而大幅增加训练数据的数量会导致相关成本的大幅增加，从而使得噪声最终削弱了 Kolmogorov-Arnold 网络的有效性。
- 模型规模对数据到文本生成中精调语言模型性能的影响：最新研究
通过对模型大小的研究，我们调查了精调 LLM 在数据到文本任务中的性能。通过广泛的比较分析，我们阐明了在五个广泛使用的 D2T 数据集和五个不同 LLM 系列的十二个大小不同的 LLMs 上扩展模型大小的优势和局限性。我们的调查发现，增加 - 深度强化学习中最大化总奖励与折扣奖励之间的分析与弥合
在深度强化学习应用中，通过最大化折扣奖励而不是最大化总奖励来确保算法的收敛性和稳定性，尽管评估策略的性能指标仍然是总奖励。然而，这两个目标对应的最优策略可能并不总是一致的。为了解决这个问题，我们分析了通过最大化折扣奖励得到的策略与最大化总奖 - LLM 推理服务：近期进展和机遇的调查
本文概述了近年来大型语言模型（LLM）服务系统的最新进展，重点关注 2023 年以来的研究。通过选择和审查高品质的机器学习和系统会议的论文，我们特别研究了在不改变核心 LLM 解码机制的情况下改善性能和效率的系统级增强。本文强调了部署和扩展 - 重新审视追求代码生成模块化的影响
传统的模块化编程在大语言模型（LLMs）的代码生成中并没有像之前认为的那样对提高性能有核心性的作用，通过引入一种新的定量测量方法，我们发现模块化并非改进代码生成模型性能的核心因素，并探索了 LLMs 与非模块化代码相比不偏好模块化代码的可能 - Qwen2 技术报告
Qwen2 系列是我们最新的大语言模型和大多模态模型，它超越了先前的开源模型，展现出在语言理解、生成、多语言能力、编码、数学和推理等各种领域的竞争性表现。
- ACL小型代码语言模型的课程学习
本文研究了课程学习对代码语言模型性能的增强潜力，并表明对于小型仅有解码器的代码语言模型，在代码执行任务中经过良好设计的课程学习方法显著提高了准确性，而在代码完成任务中影响较小。
- 智能语音分离、识别与合成性能与效率评估研究
Mamba 和 transformers 在多个语音相关任务中的性能和效率需要进行比较，研究中通过对三个任务分别使用 Mamba-TasNet、ConMamba 和 VALL-M 三种模型并与相似大小的 transformers 进行比较， - 整合白盒与黑盒技术用于可解释的机器学习
在机器学习算法设计中，算法的可解释性和性能之间存在着一个权衡。我们提出了一种集成分类器设计，使用高度可解释的分类器（即白盒模型）来分类较简单的输入，使用更强大但不太可解释的分类器（即黑盒模型）来分类较困难的输入。
- ECCV自适应参数化激活
本文通过综合统计分析，研究了激活函数在平衡和不平衡网络中的分类和中间层的现象，实证表明将激活函数与数据分布对齐可以提高平衡和不平衡任务的性能。为此，提出了自适应参数化激活函数（APA），将多种常见的激活函数统一在一个公式下，并在中间层和注意 - ECCV可训练的高表达力激活函数
该研究介绍了 DiTAC，一种基于高效可微变换（称为 CPAB）的可训练高表达的激活函数，它通过引入可忽略数量的可训练参数来增强模型的表达能力和性能，在语义分割、图像生成、回归问题和图像分类等任务中优于已有的激活函数。