open-source large language models | BriefGPT

关键词open-source large language models

搜索结果 - 13

评估企业特定 RAG 系统中开源 LLM 的功效：性能和可扩展性的比较研究
本研究分析了开源大型语言模型（LLMs）及其在来自企业网站的特定数据集上的检索增强生成（RAG）任务中的应用。研究发现，结合有效的嵌入技术，开源 LLMs 可以显著提高 RAG 系统的准确性和效率，为企业提供了与专有解决方案相比的可行选择。
PDF17 days ago
CHIQ：上下文历史增强对话式搜索中查询重写的提升
研究论文通过利用开源大规模语言模型（LLMs），在改进会话搜索中，特别是对于歧义查询的查询重写方面，研究了如何有效地部署。通过引入 CHIQ，一个利用 LLMs 在查询重写之前解决会话历史中歧义的两步方法。与先前的研究不同，该方法主要使用闭
PDFa month ago
词典中心的数据收集用于基于 LLM 的机器翻译
LexMatcher 方法使用双语词典生成数据集，利用 LLaMA2 作为基础模型并展示出在 WMT2022 测试集上优于已有基线模型的表现，以及在词义消歧和专业术语翻译等任务中显著的性能提升，突出了 LexMatcher 在增强基于 LL
PDFa month ago
炼金术师编码者：通过对多源数据进行背景调整，协调和引发代码能力
AlchemistCoder 是一系列基于多源数据的 Code LLMs，采用 AlchemistPrompts 进行数据集和指令响应对的协调，同时将数据构建过程纳入 fine-tuning 数据，通过提升代码生成和泛化能力，显著超越其他同
PDFa month ago
基于玻璃盒特征的大型语言模型的自我评估
通过研究自评估的情景，我们探索了使用开源大型语言模型 (LLMs) 进行自我评估的实用性，发现了 softmax 分布作为质量评估的可靠指标，并提出了两种增强评估的策略，从引用中获取特征。通过公共基准的实验结果验证了使用模型自我评估的可行性
PDF4 months ago
大规模语言模型是所有字符的叠加：通过自我对齐实现任意角色扮演
本研究通过利用大规模训练语料库中角色知识，提出了一种自对齐的角色扮演方法 Ditto，其将一个在读解问题上进行指令遵循的大型语言模型调整为模拟角色扮演对话。通过使用自动生成的角色扮演训练数据集对模型进行微调，Ditto 展现出在多轮对话中一
PDF5 months ago
通过不确定性量化对 LLMs 进行基准测试
通过整合不确定性量化的新型基准评估方法，本研究发现：准确性较高的大型语言模型可能显示出较低的确定性，较大规模的语言模型可能与较小规模的模型相比具有更大的不确定性，指令微调倾向于增加语言模型的不确定性。这些结果强调了在语言模型评估中整合不确定
PDF5 months ago
DeepSeek LLM: 以长期主义为基础扩展开源语言模型
通过研究扩展定律，我们发现了 DeepSeek LLM 在两种常用的开源配置下，7B 和 67B，用于扩展大规模模型的独特发现，并介绍了 DeepSeek LLM 项目的长期前景。通过创建包含 2 万亿标记的数据集并不断扩展，来支持预训练阶
PDF6 months ago
在 NASA SciX 中对大型语言模型和向量嵌入进行实验
使用开源大型语言模型，NASA SciX 通过信息检索和数据增强的替代方法提供创新思路，同时尊重数据版权和用户隐私。在提问时，直接使用大型语言模型容易产生错觉。通过使用语义向量和上下文分块设计的提示系统，NASA SciX 的实验表明使用检
PDF6 months ago
LLM360: 实现完全透明的开源语言模型
LLM360 是一个完全开源的大型语言模型（LLMs）项目，旨在通过提供训练代码、数据、模型检查点和中间结果，支持透明和可重现的端到端 LLMs 训练过程，并大力推进 LLMs 在领域中的发展。
PDF7 months ago
通过利用生成技术实现对开源 LLMs 的灾难性越狱
通过改变文本生成策略，我们提出一种新的攻击方法（生成利用攻击），成功地使 11 种语言模型的对齐率从 0% 提高到超过 95%；我们还提出了一种有效的对齐方法，可在攻击下合理降低对齐失误率。这项研究强烈呼吁在发布开源大型语言模型之前进行更全
PDF9 months ago
基于基准数据集的大型语言模型路由
通过重新利用基准数据集来学习 “路由器” 模型，我们解决了在一系列模型中为新任务选择最佳的大型语言模型的挑战，并展示了学习模型路由器在不同基准数据集上的效用和局限性，从而在所有任务中持续提高性能。
PDF9 months ago
ToolLLM: 促进大型语言模型掌握 16000 + 现实世界 API
通过引入 ToolLLM，一个包括数据构建、模型训练和评估的通用工具使用框架，我们展示了它在增强自然语言模型的规划和推理能力方面的显著影响。我们通过用 ChatGPT 创建一个工具使用指导数据集 ToolBench，并使用深度优先搜索决策树
PDFa year ago