large language models | BriefGPT

关键词large language models

搜索结果 - 8780

PEFT-U: 用户个性化的参数高效微调
近年来，大型语言模型的出现标志着人机交互的新时代。然而，个性化这些模型仍然是未经充分研究的一个关键方面。本文提出了 PEFT-U 基准数据集，用于构建和评估用于用户个性化的 NLP 模型，探索在多样的用户中心任务背景下有效个性化 LLM 以
PDF2 days ago
大型语言模型的泛化界限在解锁令牌作为数据点上
使用 martingales 的特性，通过 Monarch 矩阵、Kronecker 分解和后训练量化技术，获得大规模语言模型（LLMs）的非平凡泛化界限，适用于实际部署并能生成高质量文本的模型。
PDF2 days ago
通过世界动态建模提升智能体学习能力
通过自动化动态学习框架 DiVE 指导的大型语言模型在 Crafter 环境中能够做出决策，实现与人类玩家相当的奖励。
PDF2 days ago
降低成本：优化 LLM 的 KV-Cache 消耗方法综述
大型语言模型（LLMs）通过其先进的语言理解能力在各个行业中引起了革命，但其效率受到 Transformer 架构在处理长文本方面的困难的挑战。KV-Cache 作为解决这个问题的关键方案之一，将令牌生成的时间复杂度从二次降为线性，但增加了
PDF2 days ago
增强模型性能：另一种视觉 - 语言教学调整方法
我们提出一种名为瓶颈适配器的新方法，用于增强复杂模型的多模态功能，并通过多模态模型调整（MMT）的过程实现整个多模态 LLM 框架的联合优化。与传统的模块化训练方案不同，我们的方法采用了端到端优化制度，并结合了适配器，以显著较小的参数集实现
PDF2 days ago
探究政治偏见对大型语言模型在立场分类中的影响
该研究通过分析三个数据集、七个大型语言模型和四种不同的提示方案，发现大型语言模型具有政治倾向分类任务性能上的显著差异，并且这种差异主要出现在数据集层次上，模型和提示方案在不同的倾向分类数据集上表现出了统计上相似的性能。此外，研究还观察到当目
PDF2 days ago
利用新闻流进行股票收益预测的大型语言模型微调
本研究探讨了使用大型语言模型（LLMs）和其微调技术进行股票回报预测的方法，通过金融新闻流进行微调。实验结果表明，LLMs 的文本表示对股票组合构建具有较强的信号，并能提高回报预测性能。
PDF2 days ago
大型语言模型是否能够进行认知行为疗法？
通过收集实际的认知行为疗法对话语料库，设计和实施了一个针对情绪倾向评估、结构化对话模式和积极探究能力的评估框架，评估了大型语言模型在心理辅导领域的潜力，特别是在与其他技术手段结合后。
PDF2 days ago
结合数据和知识的威力：GPT-4o 在预测肺癌淋巴结转移中作为机器学习模型的有效解释器
利用大型语言模型和机器学习模型，提出一种新的集成方法来改善肺癌淋巴结转移的预测性能，实验结果表明，大型语言模型能够有效利用其医学知识和机器学习模型预测的概率，实现更准确的淋巴结转移预测，为临床风险预测任务提供了新的范例。
PDF2 days ago
查询的几何：检索增强生成中的查询创新
数字健康聊天机器人通过大型语言模型 (LLM) 可以显著改善慢性疾病的个人健康管理，提供可访问和即时的健康指导和问答。本文介绍了一种名为 Query-Based Retrieval Augmented Generation (QB-RAG)
PDF2 days ago
关于生成模型在算术推理任务中普适性的原理性理解
大型语言模型（LLMs）在许多任务中显示出令人印象深刻的多功能性，但它们的泛化能力仍然不够了解。我们的研究揭示了它们在算术任务中的行为，并提出了统一的理论框架来解释这些行为，通过深入了解泛化机制，我们可以进行更高效的模型训练和目标导向的人工
PDF2 days ago
大型语言模型中文字逐字记忆的揭秘
通过从 Pythia 检查点注入序列并在受控环境下继续预训练，我们发现大型语言模型（LLMs）需要大量重复才能进行逐字记忆，即使对于分布之外的序列，后期（可能更好）的检查点更有可能逐字记忆序列，同时在高层次特征的分布式模型状态和统一语言建模
PDF2 days ago
函数调用的阴暗面：大型语言模型破解的途径
利用对齐差异、用户强迫和缺乏严格的安全过滤器，本研究揭示了大型语言模型中函数调用过程的关键性漏洞，引入了一种新颖的 “越狱函数” 攻击方法。通过对 GPT-4o、Claude-3.5-Sonnet 和 Gemini-1.5-pro 等六种最
PDF2 days ago
AgentScope 中的高度规模多智能体模拟
开发了 AgentScope 多智能体平台的新特性和组件，包括基于角色的分布式机制、灵活的环境支持、易于使用的配置工具和自动背景生成流水线，以及方便监控和管理大量智能体的基于 Web 的界面。通过综合仿真实验验证了增强 AgentScope
PDF2 days ago
大型语言模型用于计算工作流程的异常检测：从有监督的微调到上下文学习
利用大型语言模型进行工作流异常检测，探索了监督微调和上下文学习两种方法，并通过实验表明它们在复杂执行中的异常检测具有潜在的潜力。
PDF3 days ago
ACL基于路由器机制的领域鲁棒轻量级奖励模型探索
利用小语言模型和路由机制，我们探索了三种方法：1）利用专家模块化内部路由器和专家形成单一的奖励模型；2）使用外部路由器从多个领域特定模型中选择适当的奖励模型；3）通过适配器将奖励模型和路由适配器加载到单个小语言模型，以减小参数大小。实验证实
PDF3 days ago
传统方法在预测信用评级方面优于生成式语言模型
大型语言模型在金融领域的企业信用评级预测任务中表现不如传统的融合基本和宏观经济数据以及高密度文本嵌入特征的 XGBoost 架构。
PDF3 days ago
BLAZE：通过动态分块和困难样例学习进行跨语言和跨项目的错误定位
通过动态分割源代码和硬样本学习的方式，BLAZE 方法利用大型语言模型在跨项目和跨语言的 Bug 定位方面取得了重大改进，其在 BEETLEBOX、SWE-Bench 和 Ye 等三个基准数据集上的评估表明，BLAZE 在 Top 1 准确
PDF3 days ago
ScholarChemQA: 开启语言模型在化学研究问答中的力量
我们引入了 ScholarChemQA，这是一个大规模的化学问答数据集，并提出了 QAMatch 模型，该模型不仅在 ScholarChemQA 数据集上表现优秀，而且在四个基准数据集上也超过了最近的类似规模的基线和大型语言模型，希望我们的
PDF3 days ago
使用苏格拉底式方法提升大型语言模型在对话式数学教学中的应用
通过提供数学教学的新途径，本文引入了一个基于苏格拉底教学的大型语言模型（ exttt {SocraticLLM}），通过对话引导学习者进行深入思考和自主发现。作者还发布了名为 exttt {SocraticMATH} 的高质量数学教学数据集
PDF3 days ago