model parameters | BriefGPT

关键词model parameters

搜索结果 - 64

增强 AI-CSI 反馈的通道建模辅助数据集生成：进展，挑战与解决方案
该论文提出了一种基于有限数量的现场信道数据的信道建模辅助数据增强方法，通过从现场信道数据中提取主要的随机参数并将其传输给基站，然后使用更新后的信道模型生成数据集，从而综合考虑了数据集采集、模型泛化和模型监控等因素，仿真结果表明，该策略可以显
PDF3 days ago
自构建上下文解构，并进行细粒度对齐增强
该研究论文提出了两种方法：自构建上下文反编译（sc$^2$dec）方法在没有微调的情况下重新编译 LLM 的反编译结果，以构造上下文学习对，帮助模型提高反编译性能；细粒度对齐增强（FAE）方法通过利用调试信息，在微调阶段将汇编代码与源代码在
PDF9 days ago
解锁语言模型中的持续学习能力
通过 L1 归一化的输出幅度分布来约束梯度更新过程，我们提出了一种无需回放和任务标签的方法 MIGU（基于幅度的渐进学习梯度更新），以释放语言模型的内在连续学习能力。实验证明 MIGU 对于所有三种语言模型架构（T5，RoBERTa 和 L
PDF9 days ago
集群挤压：跨设备联邦学习中每个集群超过一个通信轮
我们提出一种新的随机近端点法（SPPM-AS）来减少跨设备环境中联邦学习模型所需的通信成本，通过在每个合作方与服务器进行多轮通信，这种方法实现了高达 74% 的通信成本降低。
PDFa month ago
从一致预测到置信区间
利用一种名为 CCR 的新方法，通过使用模型输出的一系列符合预测间隔来建立模型参数的置信区间，创新地解决了模型参数置信区间构建中的挑战，并在有限样本情景下提供了覆盖保证。
PDFa month ago
粒子群优化在极大似然估计和惩罚负二项回归中的应用
此论文介绍了粒子群优化算法（PSO）作为统计学中使用的现行算法的替代品，并发现 PSO 不仅可以复现现有算法的结果，还能在其他算法无法收敛时找到问题源，优化结果。论文通过四个例子展示了使用 PSO 的优势，包括估计泛化分布的参数，log -
PDFa month ago
多任务学习与多任务优化
本文提出了一种多目标优化的多任务学习方法，通过迭代传递模型参数在优化过程中解决存在冲突的多个任务，并在图像分类、场景理解和多目标回归问题中进行了实验验证，结果显示该方法显著提升了发现满足 Pareto 优化的模型集合的状态，尤其在大规模图像
PDF3 months ago
MGE: 一种无需训练的高效模型生成和增强方案
这篇论文提出了一种无需训练且高效的模型生成和增强方案（MGE），通过考虑模型参数分布和性能，在模型生成过程中生成的模型在某些情况下不仅与正常训练得到的模型相媲美，甚至更优。与正常模型训练所需时间相比，生成模型仅需 1% 的时间。在 Few-
PDF4 months ago
当心言辞：评估会话式大型语言模型的词汇丰富性
评估使用语言模型生成的文本的词汇丰富性及其与模型参数的相关性。
PDF5 months ago
一种准确且参数较少的机器学习架构用于下一个位置预测
为了准确预测下一个位置，本文提出了一种能源高效、小型、低参数的机器学习架构，可部署在中小型基站和边缘设备上，通过实验和优化，将模型参数由 202 万个减少到 2 万个，模型尺寸从 791 MB 降低到 8 MB，提高了训练速度、节省了计算资
PDF5 months ago
KDD基于聚类的动态图传播重新思考个性化联邦学习
提出了一个简单而有效的个性化联邦学习框架，通过将客户端分组为多个集群并基于服务器端的模型训练状态和数据分布构建连接集群的图，使用加权边更新节点的模型参数，然后设计了一种精确的个性化模型分配策略，以允许客户端从服务器端获取最合适的模型。在三个
PDF5 months ago
ICLRSliceGPT：通过删除行和列来压缩大型语言模型
SliceGPT 是一种新的后训练稀疏化方法，可以将模型的参数减少 25％，同时保持密集模型的 99％，99％和 90％的性能，并减少内存和计算需求。
PDF5 months ago
用机器学习探索理论景观的真相与美丽
理论物理学家使用机器学习技术提出损失函数，通过最小化这些函数来建立美观且真实的理论模型，以描述自然现象。
PDF5 months ago
基于机器学习的 E3SM 陆地模型参数对湿地甲烷排放的敏感性分析
利用敏感性分析方法对 Energy Exascale Earth System Model (E3SM) 的甲烷模型的 19 个关键生物地球化学过程参数进行研究，并通过机器学习算法模拟复杂的生物地球化学行为以减少计算成本，发现甲烷生产和扩散
PDF7 months ago
优化联邦学习在 6G 网络的计算和网络融合中的通信效率
通过引导参与联邦学习的设备基于业务需求、资源负载、网络状况和设备的算术能力，计算和网络融合（CNC）可以提高联邦学习在复杂网络环境中的通信效率，并通过优化模型参数传输过程中的通信效率来解决复杂网络情况下的延迟分布和网络资源利用率的问题。
PDF7 months ago
EvoFed：利用进化策略进行通信高效的联邦学习
本文提出了一种称为 EvoFed 的新方法，通过将进化策略（ES）与分布式学习（FL）相结合，解决了传统 FL 中高通信成本的问题。EvoFed 通过基于适应度的信息共享，在节点之间传递一种基于距离的相似度度量，从而大幅减少了通信负载。在实
PDF8 months ago
使用电路探针揭示变形金刚中的因果变量
神经网络模型在各种复杂任务上取得了高性能，但它们所实现的算法往往难以解释。我们提出了一种新的分析技术 —— 电路探测，通过自动发现计算假定的中间变量的低层电路，实现了对模型参数级别的有针对性的切割，从而开展因果分析。我们对简单算术任务上的模
PDF8 months ago
ClearMark：通过转置模型训练的直观且鲁棒性强的模型水印技术
ClearMark 是第一种设计用于直观人工评估的 DNN 水印方法，通过在模型参数中嵌入可见水印，以允许人工决策，同时允许技术辅助评估。相较于现有的水印方法，ClearMark 生成的可视化水印易于人类理解，无需复杂的验证算法或严格的阈值
PDF8 months ago
CXR-LLaVA：用于解读胸部 X 光图像的多模式大型语言模型
利用大型语言模型 (LLM) 开发了多模态大型语言模型来解释胸部 X 射线图像，并研究了提示工程和模型参数对其效果的影响。通过对数据集进行预训练和微调，该模型在胸部 X 射线图像解释中显示了很好的潜力。
PDF8 months ago
解剖因果偏见
准确测量在基于机器学习的自动决策系统中的歧视是解决子群体和 / 或个体间公平性的重要问题所必需的。本文关注于在生成和 / 或收集训练数据的方式中出现的一类偏见，我们称之为因果偏见，并使用因果关系领域的工具来正式定义和分析此类偏见。本文考虑了
PDF8 months ago