model families | BriefGPT - AI 论文速递

关键词model families

搜索结果 - 6

Trans-LoRA: 迈向无数据条件下的可转移参数高效微调
通过使用合成数据集，我们提出了一种新的方法来无损地将低秩适配器模块从一个基准模型转移到另一个基准模型，这项方法能够在不同的基准模型族之间，甚至不同的参数优化方法之间，在各种任务上实现低秩适配器的转移。
PDFa month ago
通过线性结构探测研究变压器句子嵌入的语义子空间
以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。
PDF9 months ago
大型语言模型能力的可预测性研究 —— 以 BIG-bench 为例
研究了大型语言模型预测能力的可预测性问题并在 BIG-bench 实验记录上进行了实证研究，发现大型语言模型的性能可以以 5% 以下的 RMSE 进行准确预测，并提出了寻找一个信息性子集用于评估新模型家族的问题，整合了 BIG-bench
PDFa year ago
大型语言模型的后训练量化综合研究
通过数万次的零 - shot 实验，我们对后期训练量化 (PTQ) 的各种组成成分和效应进行了全面的研究，发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如，5 比特）比非常细粒度量化的低比特位（例如，4
PDFa year ago
大型语言模型的上下文学习方式不同
本研究研究了语言模型中的场景学习（ICL）如何受到语义先验和输入标签映射的影响，同时对各种模型家族进行了调查。
PDFa year ago
深度生成模型中的虚假样本：是错误还是特征？
本文研究生成模型中出现的错误样本（spurious samples），发现它们与模型学习到的数据集具有结构上的相似性，因此不能完全消除，否则会影响模型对测试样本的建模能力。
PDF6 years ago