Search | BriefGPT - AI 论文速递

搜索结果 - 200

QIGen：大型语言模型量化推理的高效内核生成
我们提出了一种自动代码生成的新方法，用于支持LLMs（如LLaMA或OPT）上的量化生成推理，并在现成的CPU上做了研究，结果表明我们的方法在性能和准确性方面较好。
PDFa year ago
关于语音到文本和大型语言模型集成的仅解码器架构
该研究介绍了Speech-LLaMA，一种将声学信息有效地整合到基于文本的大型语言模型中的新方法，并进一步探索了仅解码器架构在语音处理任务中的应用。
PDFa year ago
Llama 2: 开放基础和优化的聊天模型
我们开发并发布了称为Llama 2的预训练和微调的大型语言模型集合，该集合的规模从70亿到700亿参数不等。称为Llama 2-Chat的我们的微调语言模型在大多数测试中优于开源聊天模型，并根据我们的人工评估显示对于有用性和安全性而言可能是
PDFa year ago
利用语音识别能力激发大型语言模型
通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在Multilingual LibriSpeech上的实验证明，即使在LLM被冻结或者音频编码器使用几乎1秒的步幅生成更少嵌入时，多语种ASR仍然
PDFa year ago
Camoscio：意大利指令调优的LLaMA
通过使用 LoRA 和 ChatGPT 翻译的指令提示的语料库，我们精调了最小的变体 LLaMA（7b），在意大利语中为用户的提示引入了专门定制的语言模型 Camoscio。结果表明，该模型在多个意大利语下游任务中的零-shot性能与专门为
PDFa year ago
ToolLLM: 促进大型语言模型掌握16000+现实世界 API
通过引入ToolLLM，一个包括数据构建、模型训练和评估的通用工具使用框架，我们展示了它在增强自然语言模型的规划和推理能力方面的显著影响。我们通过用ChatGPT创建一个工具使用指导数据集ToolBench，并使用深度优先搜索决策树（DFS
PDFa year ago
用于复杂结构化医疗任务的本地大型语言模型
本论文介绍了一种将大型语言模型（LLMs）的语言推理能力与本地训练的优势相结合的方法，以解决复杂的领域特定任务。通过从病理报告中提取结构化病情编码，作者演示了他们的方法。研究结果表明，基于LLaMA的模型在所有评估指标上明显优于BERT型模
PDFa year ago
婴儿骆驼：从小数据集上训练的教师集合中进行知识蒸馏，无性能惩罚
我们提出了一种解决BabyLM挑战的方法，目标是提高语言模型的样本效率。我们在一个有发展潜力的BabyLM数据集上训练了一个由GPT-2和小型LLaMA模型组成的集成模型，然后将其蒸馏成一个小型的58M参数LLaMA模型，它在性能上超过了两
PDFa year ago
LLaMA-E：用多方面指导强化电子商务撰写
提出了针对电子商务撰写任务的统一和定制的LLaMA-E语言模型，包括广告生成、查询增强的产品标题重写、产品分类、购买意向推测和常见问答等任务，并将GPT-3.5作为教师模型，通过扩展种子指令形成LLaMA-E模型的训练集，在定量和定性评估中
PDFa year ago
借助语言对齐将大型语言模型推广到非英语语境
通过建立语言间的语义对齐，提出通过使用非英语训练数据来增强预训练大型语言模型在非英语语言上的能力，并通过实验结果证明此方法在六种非英语语言上超过英语模型42.50%，在汉语人文任务上超过英语模型8.2%。同时发现，使用非英语文本作为翻译数据
PDFa year ago
使用大型语言模型评估聊天的三种方法
本文通过三种不同的方法，基于大型语言模型（LLMs）对于ChatGPT响应的逐轮质量进行预测，并使用动态少量样本来改善基准，并分析了其他两种方法的性能并提出未来研究的改进。研究表明，Llama 2模型正在缩小ChatGPT和开源LLMs之间
PDFa year ago
长颈鹿：在LLM中扩展上下文长度的探险
现代大型语言模型（LLMs）通常使用固定的上下文长度进行训练，但这限制了它们在评估时能处理的输入序列的长度。为了在训练时间上下文长度之外的较长序列上使用这些模型，可以采用不断增长的上下文长度外推方法。本文对现有的上下文长度外推方法进行了广泛
PDFa year ago
LLaMA-Reviewer：通过参数高效微调推进大型语言模型在代码审核自动化中的应用（实践经验报告）
LLaMA-Reviewer是一个创新框架，利用了LLaMA（一种流行的大型语言模型）在代码审查领域的能力。通过使用参数高效的微调方法，即使使用了6.7B参数的最小LLaMA基础模型和有限的微调时期，LLaMA-Reviewer也能达到现有
PDFa year ago
音乐理解 LLaMA：通过问题回答和字幕提升文本至音乐生成
文中提出的MU-LLaMA模型通过MusicQA数据集的训练，在音乐问答和音乐配音生成方面取得了出色的表现，超越了当前领先的模型，并为T2M-Gen研究领域带来了有希望的进展。
PDFa year ago
代码巨基：面向代码的开放基础模型
发布了Code Llama，这是一套基于Llama 2的大型代码语言模型，在开源模型中具有最先进的性能、填充能力、大尺寸输入上下文支持以及无人操作编程任务的指令跟随能力。
PDFa year ago
使用经过微调的Llama 2 GPT模型的金融新闻分析
Llama 2大型语言模型的精细调整为金融新闻的多任务分析提供了可能性，根据PEFT/LoRA的方法进行了精细调整，研究中对以下任务进行了调整：从金融市场角度分析文本，突出文本的主要观点，总结文本和提取带有适当情感的命名实体。研究结果表明，
PDFa year ago
LLM2KB：利用调整指导上下文感知的大型语言模型构建知识库
使用大型语言模型构建知识库的LLM2KB系统有不同于基础模型的参数紧凑的注入模型，通过LoRA技术调整指令以便使用Wikipedia页面上下文实体，并在LM-KBC挑战中取得了0.6185的平均F1得分。
PDFa year ago
针对在线性侵犯聊天和辱骂性文本的细调Llama 2大型语言模型
通过使用开源预训练的Llama 2 7B-parameter模型，这篇论文提出了一种检测在线性侵以及滥用语言的方法，其基于大型语言模型的能力，表现出良好的性能并适用于真实世界应用和其他潜在的文本分类问题。
PDFa year ago
大型语言模型中的性别特定机器翻译
使用解码器-only 大型语言模型（LLMs）进行性别特定翻译研究，发现通过提示可以控制输出属性，LLMs比传统编码器-解码器神经机器翻译系统（NMT）提供独特优势，能够生成性别特定的翻译且具有竞争性准确性和性别偏见缓解，同时揭示了LLMs
PDFa year ago
利用精调的大型语言模型进行虚假信息和假新闻检测的分析
利用 PEFT/LoRA 的方法对 Llama 2 大型语言模型进行细调，以用于辨析虚假信息和检测假新闻。该研究中，模型被细调以完成以下任务：解析揭示虚假信息和宣传叙事的文本、事实核查、假新闻检测、操纵分析、提取带情感的命名实体。实验结果表
PDFa year ago