post-training | BriefGPT - AI 论文速递

关键词post-training

搜索结果 - 10

通过奖励模型精华提高偏好鲁棒性优化
通过预训练、直接偏好优化和蒸馏方法，改进了离线对齐过程中偏好数据分布转移的鲁棒性，同时保留了简单的监督学习性质。
PDFa month ago
标定的语言模型必须产生幻象
最近的语言模型在生成对外观听起来真实但实际上是虚假的文本方面存在神秘的倾向，这对于基于语言的人工智能系统的可用性构成了障碍，并可能对依赖其输出的人造成伤害。本研究表明，预训练语言模型出现虚构某些类型的事实的统计原因是固有的，与变压器 LM
PDF7 months ago
印尼金融 NLP 的领域特定语言模型后训练
我们在金融领域和印尼语言中进行了一项研究，通过对经过预训练的印尼 BERT 进行金融领域的后训练，并构建了印尼金融文本自监督语料库、印尼金融情感分析数据集和印尼金融主题分类数据集，释放了一系列适用于金融自然语言处理的 BERT 模型。我们还
PDF9 months ago
深度神经网络压缩的量化可知因式分解
使用张量分解和量化相结合的方法，通过交替方向乘数法来压缩神经网络的权重，实现在保持预测质量的同时减少参数和计算量，并展示出与现有后训练量化方法相比的竞争性结果和高灵活性的优势。
PDFa year ago
Transformer 模型的快速后训练剪枝框架
本文提出一种基于结构化稀疏方法的快速 Transformer 模型剪枝框架，无需重新训练即可保持高准确度，在 GLUE 和 SQuAD 数据集中分别实现了 2 倍的 FLOPs 减少和 1.56 倍的推理速度提升，在单个 GPU 上不到 3
PDF2 years ago
ECCV针对 MobileNet 的 Subtensor 量化
本文研究深度神经网络量化的问题，针对不同的架构提出了一些不同的替代方案，并在 ImageNet 数据集上进行了图像分类实验，结果表明后量化准确率与浮点数版本在 0.7％以内。
PDF4 years ago
EasyQuant: 通过尺度优化进行后训练量化
本文提出一种名为 EasyQuant (EQ) 的简单有效的后训练量化方法，通过尺度优化来获得类似于基于训练方法的精度。具体地，我们针对卷积输出的所有层交替优化权重和激活的规模，以进一步获取高量化精度。然后，我们将位宽降低到 INT7，同时
PDF4 years ago
深度神经网络后训练分段线性量化
本文提出了一种基于分段线性量化的方法，通过最小化量化误差来确定最优的分界点，解决了现有量化方法在低位宽下性能显著下降的问题，在图像分类、语义分割和物体检测等方面表现优异。
PDF4 years ago
应答选择中基于 BERT 的有效域自适应后训练方法
本研究基于双向编码器转换器 (BERT) 作为强大的预训练语言模型，针对多轮检索式对话系统中的响应选择问题，提出了一种高效的基于领域特定语料库的后训练方法，发现后训练能帮助模型训练出具有更好上下文表示能力的单词，实验结果显示该方法在两个回答
PDF5 years ago
ICLR深度学习中的后训练与最后核
该论文提出了一种称为 post-training 的额外训练步骤来优化神经网络的最后一层，该步骤可以在核理论的背景下进行分析，其目的是确保数据的表征被最佳地应用于给定任务中，试验证明可以显著提高深度学习方法的性能。
PDF8 years ago