- 基于张量分解的脉冲神经网络注意力模块
使用张量分解和线性投影的脉冲张量与注意力图融合模块提出了一种新的脉冲神经网络(SNN)模型,该模型在分类任务上达到了最先进的性能,并超过了基于 Transformer 和 CNN 的 SNN 模型。
- 缓存与提炼:优化大型语言模型的 API 调用
大规模部署生成式 AI 工具常依赖于昂贵的 API 调用以满足用户查询。为了节省这些调用的频率,可以使用一个较小的语言模型 - 学生 - 它会持续训练以适应 LLM 的响应。这个学生逐渐增强独立处理用户请求的能力,这个过程我们称之为神经缓存 - SHARCS: 通过动态宽度子网络进行有效的 Transformer 路由
SHARCS 是一种自适应推理方法,通过考虑输入样本的难度,训练了一个路由器来将不同样本定向到具有不同宽度的子网络,实验证明,SHARCS 在准确性与 FLOPs 方面优于或补充了现有的逐样本自适应推理方法,能够泛化到不同的架构,甚至应用于 - 解耦潜在空间促进数据驱动的辅助学习
在深度学习中,利用辅助目标来促进学习在数据稀缺或主要任务极其复杂的情况下经常被使用。本文提出了一种名为 Detaux 的新颖框架,通过弱监督的解缠过程来发现可以与主要任务一起利用的新的无关分类任务和相关标签,从而解决了这一关键问题。在合成和 - 利用自然语言处理对食品系统本体进行组织分类
利用自然语言处理方法识别组织实体的分类任务,实现与食物系统本体论的知识图谱构建和整合,研究结果表明 NLP 模型在分类任务上表现良好,且可以广泛应用于其他分类问题。
- 改进超出分布分类的因果理论和结构数据表示
通过使用人为生成的因果知识来提高神经网络的数据表示,从而改进复杂分类任务中的自动生成模型的数据的分布外泛化性能,进而指向通过改进机器学习系统开发实践来提高机器学习系统的鲁棒性和安全性的努力中动力系统方法的实用性。
- 深度学习中可验证准确性、鲁棒性和泛化的边界
通过评估理论限制,我们研究了神经网络在分类任务中确定稳定性和准确性的保证限制。我们考虑经典的分布无关框架和最小化经验风险的算法,同时受到一些权重正则化的约束。我们展示了一个庞大的任务集,对于这些任务,在给定的神经结构类中计算和验证理想的稳定 - 零样本模型的零样本强化与基础模型
RoboShot 是一种完全零样本的方法,通过利用零样本语言模型(LMs)从任务描述中获得有用的见解,以优化预训练模型嵌入的健壮性,从而解决了预训练模型的继承偏差问题,并在九个图像和自然语言处理(NLP)分类任务上展示了 15.98% 的平 - 自监督预训练改善多种肺部超声解读任务的性能和推理效率
通过自监督预训练可以生成适用于多种 B 模式肺部超声分析分类任务的神经网络特征提取器,经预训练模型在三项肺部超声任务的微调后,平均跨任务下的受试者工作特性曲线(AUC)面积分别提高了 0.032 和 0.061, 紧凑非线性分类器在单个预训 - BDC-Adapter: 布朗运动距离协方差在视觉语言推理中的改进
本研究提出了一种基于 Brownian 距离协方差的 BDC-Adapter 方法,通过模拟所有可能关系以测量特征依赖性,在执行分类任务时可以灵活处理非线性关系并充分表征独立性,实验证明其在性能上大幅超过了当前最先进的方法。
- 超越文档页面分类:设计、数据集和挑战
本文强调将文档分类基准测试更贴近实际应用的需求,包括在测试的数据性质 ($X$:多通道、多页、多行业;$Y$:类别分布和标签集的多样性) 以及所考虑的分类任务 ($f$:多页文档、页面流和文档捆绑分类);我们确定了公共多页文档分类数据集的缺 - 用于分类捷克新闻文本的数据集和强大基准线
通过 CZEch~NEws~Classification~dataset 对 Czech 自然语言处理进行评估,发现语言特定的预训练编码器分析优于可选的大规模生成语言模型,并定义了四个分类任务:新闻来源、新闻类别、作者性别推断和星期几。
- 大规模预训练分类器任务可转移性分析
本文通过分析在只微调模型最后一层的情况下分类任务的性能传输,提出了一种新颖的任务转移分析方法,该方法通过改变类先验分布、标签和特征空间的方法变换源分布,并利用 Wasserstein 距离、标签分布的条件熵以及源分布的带权损失等因素说明了传 - 用于改善分类任务可解释性的新型结构化论证框架
研究提出了一种新的结构化论证框架,名为扩展论证决策图($xADG$),它是 Dung 抽象论证图的扩展。$xADG$ 框架允许论点在其内部结构中使用布尔逻辑运算符和多个前提,从而产生更简洁的论证图,易于用户理解,并在分类任务中取得了强大的预 - ACL文本到知识图谱对齐:在分类任务中比较现有方法
本文研究了知识图谱和预训练语言模型相结合的文本分类任务,对常见的文本到知识图谱对齐方法进行了评估,结果表明当前的方法相对于完全相关的查询子图存在一定的局限性。
- 多视角特征选择的多目标遗传算法
本文提出一种基于遗传算法的多视图多目标特征选择方法,并针对多视图数据的分类任务,取得了优于其他方法的性能和解释性表现。
- 基于树突积分的二次神经网络超越传统的人工网络
将生物神经元属性纳入人工神经网络以增强计算能力是机器学习领域中面临的重大挑战,我们提出了一种新颖的人工神经网络模型 DIQNN (Dendritic Integration-Based Quadratic Neural Network),该 - 在上下文中进行探究:通过对大型语言模型进行探查以构建强大的分类器
本文介绍了一种名为 'in-context probing' 的方法,能够更好地提高大型语言模型在分类任务中的鲁棒性,并证明了这种方法在与提供的指令变化较大时更具可靠性。
- 使用指令微调语言模型的自动化少样本分类
通过使用指导微调的语言模型,构建了一个用于 few-shot 学习的方法,名为 AuT-Few,该方法可以自动选择适合的任务指令,并实现了较强的 prompt 稳健性和良好的分类性能。
- 使用伪代码指令提示
本研究探讨通过使用伪代码指令进行提示是否有助于提高预训练语言模型的性能,发现使用伪代码指令可以提高分类任务的 F1 分数和总体 ROUGE 分数,结论表明伪代码提示可以改善预训练 LM 的性能。