model size | BriefGPT - AI 论文速递

关键词model size

搜索结果 - 88

PolygloToxicityPrompts: 大型语言模型中神经毒性退化的多语种评估
通过引入 PolygloToxicityPrompts（PTP）评测标准，我们对 17 种语言的 425K 自然出现的提示进行了首次大规模多语种毒性评估，发现了语言资源减少和模型大小增加会增加毒性的现象，并且指导性微调方法选择对毒性没有显著
PDF2 days ago
ICLR模型大小对通过 LIME 解释 LLM 的影响
通过对四个不同尺寸的 DeBERTaV3 模型在自然语言推理和零样本分类任务上的 LIME 解释进行评估，发现模型尺寸的增加并不与合理性相关，尽管模型性能有所提高，这表明随着模型尺寸的增加，LIME 解释与模型内部过程之间存在不一致。我们的
PDF9 days ago
基于梯度的神经网络芯片上每权重混合精度量化
通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。
PDF16 days ago
大型语言模型是否学习类似人类的战略偏好？
我们评估 LLMs 在战略场景中是否学会进行类似人类的偏好判断，结果显示 Solar 和 Mistral 表现出稳定的基于价值的偏好，包括与人类一致的囚徒困境和旅行者困境中的利益大小效应和罚款大小效应，我们发现模型的大小、基于价值的偏好和表
PDFa month ago
基于神经自回归模型的高效实时钢琴转录
通过改进神经网络设计和模型大小，实现实时推断的钢琴转录模型，与现有最先进模型在音符精确度上相媲美并具有高性能及轻量级特点。
PDFa month ago
潜在扩散模型的缩放特性：更大不一定更好
通过对已建立的文本到图像扩散模型进行经验分析，我们研究了模型规模如何影响不同采样步数下的采样效率，并发现了一个意外的趋势：在给定推理预算的情况下，较小的模型经常在生成高质量结果方面胜过较大的等价物。此外，我们通过应用各种扩散采样器，探索不同
PDF2 months ago
微型图神经网络用于无线资源管理
无线资源管理的需求增加了对高效无线资源管理的精简神经网络结构的开发的需求。本文介绍了一种针对无线资源管理量身定制的图神经网络（GNN）的新方法：低秩消息传递图神经网络（LR-MPGNN）。该方法基于低秩逼近技术，将传统线性层替换为其低秩对应
PDF2 months ago
人工智能与内存壁
通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。
PDF2 months ago
大规模语言模型在提示注入攻击下的机器翻译伸缩行为
研究了大型语言模型在机器翻译任务上的指令注入攻击，发现在某些条件下，更大的模型可能更容易受到成功攻击的影响，这是多语言环境下非平凡的语言模型缩放行为研究的首次工作。
PDF2 months ago
揭开缩放法则之迷：第一部分
本技术报告确认原始 OpenAI 论文中提出的缩放定律公式在将模型大小扩大至 330 亿时仍然有效，但这些公式中的常数系数依赖于实验设置。我们细致地确定了影响因素，并提供透明的逐步指导，通过在包含 1M~60M 参数的模型上进行训练估算出缩
PDF2 months ago
基于大型语言模型中的文本、概率和隐藏状态的记忆洞察
通过比较存储和非存储之间的差异，我们提出了一种名为 ROME 的新方法，用于研究大型语言模型的记忆化能力。实验结果显示，包括词长、词性、词频、平均值和方差在内的多方面因素存在差异。
PDF3 months ago
大型语言模型中的连续预训练探索：洞见与影响
这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知
PDF3 months ago
串联思维不忠诚的伪装准确性
理解链状思维生成在大型语言模型内部计算中的程度对于决定是否信任语言模型的输出至关重要。在评估模型大小与忠实度的关系时，我们发现存在着一种扩大然后逆向缩小的关系，而 130 亿参数模型比其大小范围在 8.1 亿到 1750 亿参数的模型表现出
PDF3 months ago
PaCKD: 模式聚类知识蒸馏用于压缩内存访问预测模型
使用模式聚类知识蒸馏方法，我们提出了 PaCKD，这是一种压缩内存访问预测模型的方法，通过为每个分区训练大型模式特定的教师模型，然后从这些训练好的模式特定教师中提取知识训练一个单一轻量级的学生模型，以在保持预测性能的同时实现模型大小的 55
PDF3 months ago
揭示语言模型嵌入中的潜在人类福祉
语言模型是否会隐含地学习到人类福祉的概念？我们通过 ETHICS Utilitarianism 任务进行探索，评估缩放是否增强了预训练模型的表示能力。我们的初步发现表明，即使没有任何提示工程或微调，OpenAI 的 text-embeddi
PDF3 months ago
自我反馈的危险：自我偏见在大型语言模型中增强
最近的研究表明，自我反馈可以改善大型语言模型在某些任务上的表现，但对其他任务而言则会恶化。我们发现这种矛盾是由于语言模型对自己的输出存在偏见所致。本文通过两个统计量正式定义了语言模型的自我偏见 —— 偏爱其自身生成的内容。我们分析了六个语言
PDF3 months ago
ClusterTabNet：用于表格检测和表格结构识别的有监督聚类方法
我们提出了一种新颖的基于深度学习的方法来对文档中的单词进行聚类，并应用于检测和识别 OCR 输出中的表格。我们将表的结构从底部向上解释为单词之间的关系图（属于同一行，列，标题以及同一张表），并使用 Transformer 编码器模型来预测
PDF3 months ago
ACL频率解释了大型语言模型的大小、训练数据量和意外性与阅读时间的逆相关关系
大型、数据庞大的基于 Transformer 的语言模型对于罕见单词的预测更加准确，从而导致它们的意外度估计与人类的阅读时间相关性降低。
PDF3 months ago
构建推荐系统中的大规模基数处理
该论文提出了两种创新技术来解决推荐系统中高基数的挑战，通过采用词袋模型和层共享相结合的方法，显著减少模型大小并提高性能，在优步的使用案例中进行了离线和在线实验，取得了有希望的结果，展示了优化推荐系统及提高其整体性能的有效方法。
PDF4 months ago
OCR 的标度律实证研究
通过对模型尺寸、数据量、计算和模型性能进行全面研究，在自然语言处理领域确定了它们之间的关系，然而在光学字符识别领域的标度律尚未被研究。本研究通过对模型性能、数据量和计算规模之间的关联进行详细研究，表明在控制其他影响因素的情况下，性能与模型尺
PDF5 months ago