smaller models | BriefGPT - AI 论文速递

关键词smaller models

搜索结果 - 7

ACL知识蒸馏与固定计算预算下的从零开始训练对比
相对于基于标准语言模型（LM）的从头开始预训练，知识蒸馏（KD）需要额外进行一次前向传递，通常所用的教师模型大大超过目标学生模型。本研究比较了从头开始预训练与几种 KD 策略在计算资源和预训练数据方面的表现，结果发现虽然从头开始预训练与固定
PDF2 months ago
混合是你所需的一切：更便宜、更好的兆参数 LLM 的替代方案
研究表明，通过 “混合” 策略集成多个中小型模型可以在不增加计算资源需求的情况下，实现与较大型模型相媲美或超越其性能指标。
PDF6 months ago
通过双向对齐改善上下文学习
大型语言模型通过在上下文中学习（ICL）在许多任务上展示了令人印象深刻的少量样本泛化能力。本研究提出了双向对齐（BiAlign）方法，旨在充分利用模型对 ICL 示例的偏好，提高较小模型的 ICL 能力。通过与大型模型的输入偏好对齐，同时对
PDF6 months ago
第一步优势：多步推理中开始正确的重要性
大型语言模型可以通过为其预测生成理由来解决复杂的推理任务。通过将这些功能融入到较小、紧凑的模型中，可以促进为特定任务量身定制的专门、经济高效的模型的创建。然而，较小的模型在复杂的推理任务中常常面临挑战，并且通常会偏离正确的推理路径。我们发现
PDF8 months ago
LLMs 的有效表格推理能力提炼
本论文提出了一种新颖的基于表格推理的蒸馏方法，通过将大型语言模型（LLMs）蒸馏成专门为基于表格推理任务设计的小型模型，实验证明使用蒸馏数据进行微调的 0.22 亿参数模型（Flan-T5-base）在科学表格文本生成数据集（SciGen）
PDF9 months ago
小型语言模型更适合于黑盒子机器生成文本检测
本研究旨在通过训练检测器以区分生成文本与人类编写文本，并发现适用于小且部分训练的生成模型更易检测。检测器与生成器是否基于相同数据不影响检测结果。
PDFa year ago
神经比较学：比较知识的神经符号精炼
本文研究使用 GPT-2 等较小的语言模型获取比较知识的任务，提出一种新的比较知识提取框架 NeuroComparatives，并通过对所获得的 8.7M 个关系的人类验证，证明其优于现有资源（包括 GPT-3），这一结果表明适用于较小语言
PDFa year ago