- 神经网络学习分类任务中的编码方案
神经网络具有生成任务相关特征有意义表示的关键能力,然而 emergent coding scheme 的本质仍不清楚。本文使用贝叶斯框架研究全连接的宽神经网络在学习分类任务时的特征学习机制,并发现网络的内部表示在神经非线性方面具有重要影响, - LLMs 分类性能被夸大
该研究评估了闭源和开源的大型语言模型在典型分类任务中的表现,讨论了大型语言模型在没有正确标签的情况下理解任务本质的能力,并提出了一个新的测试基准和评估指标。
- 揭秘神经网络的对抗脆弱性之路
我们研究了深度神经网络在分类任务中的对抗性鲁棒性,通过矩阵理论解释了深度神经网络对分类的对抗性脆弱性,理论结果表明输入维度增加时,神经网络的对抗性鲁棒性会降低,并且其鲁棒性只能达到最佳鲁棒性的 1/√d。这一矩阵理论解释与以前的信息理论基于 - 量化 LLM 对提示工程的敏感性和一致性:我做错了什么?
使用两个度量标准(敏感性和一致性)来评估大型语言模型在分类任务中的性能,并希望它们能成为自动提示工程框架中寻求平衡鲁棒性与性能的有力工具。
- WarCov -- 来自社交平台的大规模多标签多模态数据集
该论文介绍了从数据获取到构建数据集的过程,用于分类任务和自然语言处理,特别关注 COVID-19 疫情以及标签的创建。
- 参数化量子电路中基于扩散的量子噪声抑制
该研究论文探讨了参数化量子电路(PQCs)与量子噪声的关系,并提出了一种基于扩散的学习方法,以减小 PQCs 中的量子噪声并降低特定任务的误差。通过实验证明了该学习策略的高效性,并在量子噪声情景中在分类任务上取得了最先进的性能。
- 自适应增强和动态权重调整
Adaptive Boosting with Dynamic Weight Adjustment improves efficiency and accuracy in ensemble learning by dynamically up - 语言崩溃:(大型)语言模型中的神经崩溃
本文通过实证研究探讨了扩展的因果语言模型(CLMs)的体系结构和训练对其进展向神经坍缩(NC)的影响,发现随着规模的扩大,NC 的特性与泛化之间存在联系,并且即使在规模上无关的情况下,NC 与泛化之间也存在某种关系。因此,本研究强调了 NC - 利用分层群组结构实现交叉公平的合成数据生成
该论文介绍了一种特定的数据增强方法,旨在增强分类任务中的交叉公平性。这种方法利用交叉性内在的层级结构,将群体视为其父类别的交集,通过学习组合父类群体数据的转换函数,对较小群体进行数据增强。我们对四个不同数据集进行的实证分析(包括文本和图像) - 稳定扩散数据集生成用于下游分类任务
在最近的生成人工智能的进展中,我们利用稳定扩散 2.0 模型来生成合成数据集,通过迁移学习、微调和生成参数优化技术改善了数据集在下游分类任务中的效用,我们提出了一种条件类别版本的模型,利用类编码器和关键生成参数的优化。使用我们的方法,在三分 - 只用 LLM 来按照用户指令培养文本分类器
我们的研究旨在通过用户指令生成文本分类数据,从而可以训练一个小型文本分类器,而无需任何人工注释或原始语料库。我们的提出的孵化器是第一个可以处理复杂甚至是相互依赖类别 (如 “教育家发表的 TED 演讲” 和 “其他”) 的框架,通过在分类数 - 通过分子构建语义通信系统:一种端到端训练方法
提出一种语义分子通信系统,通过减少传输的信息来增强分子通信系统的效率,并展示其在分类任务中相较于传统方法的卓越性能。
- 借助解缠绕的自监督学习和元学习提升医学图像分类的少样本学习
应用于医学成像等关键领域的深度学习模型使用受限的训练数据,我们提出了一种策略来提高在低数据情况下训练的模型的性能和泛化能力。通过预训练和元微调,本方法通过在元训练中暴露模型于更具挑战性的分类任务,进而在元测试中对更具临床相关性但更容易的任务 - 探索 LLMs 作为有针对性的合成文本数据源,以最小化高置信度的错误分类
使用大型语言模型进行数据增强,减少高置信度错误分类,并与人类数据进行比较,以降低成本并保持同样的准确性。
- CVPR深度神经网络微调上的自适应随机特征正则化
使用自适应随机特征正则化 (AdaRand) 方法,无需辅助源信息和重大计算成本,通过改变特征向量的分布来提高训练模型的下游分类任务性能。
- ACL揭示了细调的大型语言模型的泛化能力
这篇论文研究了大型语言模型(LLMs)和它们经过微调后的变体之间的差异,尤其关注微调对 LLMs 内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验,研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为 - 域对抗主动学习用于领域泛化分类
该研究提出了一种领域对抗主动学习算法(DAAL),用于领域泛化任务中的分类任务,在减少数据资源的情况下实现强大的泛化能力,从而降低领域泛化任务中的数据标注成本。
- 贪婪特征选择:通过贪婪方法进行分类器依赖特征选择
本研究介绍了一种名为贪婪特征选择的用于分类任务的特征排序新方法,并通过理论和数值测试探究了该方法在模型容量指标以及预测活动太阳的地球有效表现问题上的好处。
- 混合密度网络在产品捆绑分类中的应用
本文提出了两种基于混合密度网络的分类模型,通过将高斯混合模型拟合到数据中,并使用拟合的分布通过评估学习到的累积分布函数对给定样本进行分类。这些模型在三个公开数据集上表现略优于或与五个基准分类模型相当,并通过真实世界的产品捆绑应用展示了其实际 - ICLR基于 Dropout 的 Rashomon 集探索技术用于高效的预测乘性估计
通过利用 dropout 技术来探索 Rashomon 集合中的模型,提出了一个用于衡量和减轻预测多样性的新框架,通过严格的理论推导和实验证明该技术在预测多样性度量估计方面始终优于基准方法,并通过 dropout 集成和模型选择实现了高效的