large language models (llms) | BriefGPT

关键词large language models (llms)

搜索结果 - 155

ROS-LLM: 具备任务反馈和结构化推理的 ROS 框架
通过自然语言提示和来自机器人操作系统（ROS）的上下文信息，我们提出了一个直观的非专业人士机器人编程框架。该框架集成了大型语言模型（LLMs），使非专业人士能够通过聊天界面向系统表达任务要求。它具有与 ROS 集成的 AI 代理与大量开源和
PDF4 days ago
ICLR重新思考在微调基础模型时的无害拒绝
通过研究大型语言模型（LLMs）中微调的程度，该论文探讨了微调是否有效地缓解了不良行为，还是仅仅掩盖了它。研究采用逼真的角色扮演实验，通过观察模型在微调后的反应动态来评估结果。研究发现了一种普遍现象 —— 以推理为基础的欺骗，其中模型要么停
PDF5 days ago
开发和评估一个检索增强的生成工具，用于创建人工系统的 SAPPhIRE 模型
使用 SAPPhIRE 因果模型代表系统支持类比设计是有效的。研究通过结构化描述系统的的新工具 Retrieval-Augmented Generation (RAG) 利用大语言模型 (LLMs) 生成与人工系统的 SAPPhIRE 构造
PDF5 days ago
利用 LLMs 进行对话质量测量
该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标
PDF7 days ago
异步机器学习增强规划器用于自动驾驶
异步驱动器是一个利用大型语言模型（LLM）生成与场景相关的指令特征，引导实时规划器进行精确和可控轨迹预测的新的异步 LLM 增强闭环框架。
PDF12 days ago
DialSim：一个用于评估对话代理的长期对话理解能力的实时模拟器
通过引入实时对话模拟器 DialSim，可以对最新的对话代理进行评估并分析它们的局限性，为未来的对话人工智能领域的改进提供有价值的见解。
PDF13 days ago
文本属性图上的纯 Transformer 预训练框架
图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。
PDF13 days ago
代码生成评估的基准和指标：一项关键性回顾
对大型语言模型在编程任务中的评估工作进行了关键综述，着重讨论了现有工具的评估中使用的基准和度量标准，并提出了进一步研究的方向。
PDF14 days ago
关于表格问答的语言模型鲁棒性研究
通过评估 Large Language Models (LLMs) 在基于维基百科和财务报告的 Tabular Question Answering (TQA) 数据集上的表格理解能力，研究发现指令对性能有显著影响，新模型 Llama3 比
PDF14 days ago
等级分数：量化 LLM 在选项选择中的表现
本研究引入了 “Grade Score”，这是一种用于评估大型语言模型（LLMs）作为多选题判官时一贯性和公正性的新指标，通过结合熵和模式频率来测量其对次序偏见和选择稳定性的影响，以提供 LLMs 的可靠性和公正性的洞察。研究探索了诸如提示
PDF15 days ago
LLM 能理解对话中强调句的含义吗？
这篇论文介绍了 Emphasized-Talk，这是一个带有强调注释的对话样本基准，用于捕捉强调的含义。作者评估了各种 LLMs，包括开源和商业化模型，以衡量它们在理解强调方面的性能。此外，作者还提出了使用 GPT-4 的自动评估流程，其与
PDF16 days ago
BertaQA：语言模型对本地文化了解多少？
大型语言模型在全球范围或以英文为中心的主题上表现出广泛知识，但对于在网上不那么突出的其他文化相关主题表现如何仍存在疑问。通过引入英文和巴斯克文平行的选择题数据集 BertaQA，我们发现一流的大型语言模型在本地文化知识上表现出困难，但持续的
PDF21 days ago
SecureNet: DeBERTa 与大型语言模型在钓鱼检测中的比较研究
本研究探讨了大型语言模型（LLMs）在特定任务（如文本分类，特别是检测恶意内容）中的潜力和局限，并将其结果与最先进的 DeBERTa V3 模型进行对比。通过使用包括电子邮件、HTML、URL、短信和合成数据生成的综合公共数据集，我们系统地
PDF22 days ago
ACL通过与人员进行抽样，揭示人类和语言模型之间对话语调的相似性和差异性
运用机器学习和认知科学的思想相结合的方法，通过迭代的方式，从人们和 GPT-4 中获取了一组句子和频繁对话的语气，进而创造并解释了人们和 GPT-4 之间对话语气的关系的可解释的几何表示形式，从而解决了人机交互中的挑战。
PDFa month ago
ACL使用合成数据探索大型语言模型的数学外推
通过对高质量合成数据的微调，本文通过提出的算术难题问题展示出大型语言模型在多步推理任务上的出色表现，并通过开源的 3B 模型在三个不同的测试数据集上实验结果表明，这种模型不仅在域内数据集上能够达到 0.44 的零样本一次通过率 @1，而且还
PDFa month ago
使用大型语言模型的差分隐私表格数据合成
使用预训练的大型语言模型（LLMs），DP-LLMTGen 引入了一种新的框架来进行差分私有表格数据合成，通过微调过程模拟敏感数据集并生成多样的合成数据，有效地解决了实际挑战。
PDFa month ago
ACL加强符号绑定使得大型语言模型可靠的多选选择器
本文研究了大型语言模型中多项选择题的选择偏差问题，提出了一种基于点对点反馈的有效 SFT 算法（PIF），通过提高模型对选项内容的理解能力，显著减少了选择偏差，提高了多项选择题的准确性。
PDFa month ago
深度研究逻辑推理与 LLM：工具选择的重要性
通过将大型语言模型 (LLMs) 与各种符号求解器相结合，我们对 Z3、Pyke 和 Prover9 三个符号求解器的性能进行实验证明，其中与 LLMs 相结合时，Pyke 的性能明显低于 Prover9 和 Z3，Z3 的总体准确性略高于
PDFa month ago
ACLOpen Ko-LLM 排行榜：用 Ko-H5 基准评估大型语言模型在韩语中的表现
该论文介绍了 Open Ko-LLM 排行榜和 Ko-H5 基准作为在韩语中评估大型语言模型 (LLMs) 的重要工具。该工具在韩国 LLM 社区中被广泛接受，并通过引入私有测试集进行数据泄漏分析，证明了私有测试集的好处。此外，论文提出了超
PDFa month ago
ACLDevEval：与现实世界源代码仓库对齐的手动注释代码生成基准
通过新的基准测试 DevEval，我们评估了 8 种流行的大型语言模型在真实代码库中的编码能力，并发现这些模型的编码能力在真实世界的代码库中存在缺陷。
PDFa month ago