Nov, 2023

InCA: 大型语言模型的车载会话系统评估的重新思考

PDF
TL;DR在研究中提出了一套特定于汽车问答系统的关键绩效指标（KPIs）和相应的数据集，通过初步的全面实证评估证明了该方法的有效性，并研究了在提示中使用不同角色的影响，发现这样做可以增强模型在评估中模拟多样观点的能力，从而反映具有不同背景的个体对于一个主题的感知。
generative large language modelsevaluation metricsin-car conversational question answeringperformance evaluationpersonas
发现论文，激发创造
  • CarExpert：利用大型语言模型实现车载对话问答

    CarExpert 通过借助大型语言模型（LLMs）在不针对特定任务和数据进行微调的情况下，控制输入，为抽取和生成回答组件提供特定领域的文档，并控制输出，以确保生成自然、安全且针对汽车领域的答案，优于最先进的 LLMs。

    Oct, 2023

  • PerkwE_COQA：将上下文关键词提取与大型语言模型相结合以增强波斯语会话问答

    本篇论文提出了一种新的方法，通过结合大型语言模型（LLMs）和上下文关键词提取，提升波斯语对话式问答系统（CQA）的性能，实现更准确、连贯的回答，有效处理隐含问题和依赖于对话上下文的复杂问题。评估结果显示，该方法在 CQA 性能上相较于现有方法和仅使用 LLMs 的基准测试结果高出 8%。

    Apr, 2024

  • 接收、推理和反应：在自动驾驶车辆中根据您的指令驾驶的大型语言模型

    通过利用大型语言模型（LLMs）的语言和推理能力，本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范，我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。

    Oct, 2023

  • 在连接的自动驾驶车辆上测试大型语言模型的驾驶理论知识和技能

    应用远程或边缘大型语言模型（LLMs）支持自动驾驶的新方法，使用行驶理论测试评估多种 LLMs 模型（包括 OpenAI GPT、Baidu Ernie 和 Ali QWen），实验结果显示 GPT-4 具有改进领域知识和 CAV 驾驶辅助能力，但成本也高出 GPT3.5 近 50 倍。

    Jul, 2024

  • 基础指标：基于生成式人工智能的医疗对话效果量化

    人工智能的生成模型将通过将传统医疗转变为更加个性化、高效和主动的过程来革命性地改变医疗服务的交付，而聊天机器人作为互动对话模型将可能推动医疗的这种以患者为中心的转变。通过提供诊断、个性化的生活方式建议和心理健康支持等各种服务，旨在显著增强患者的健康结果，同时减轻医疗服务提供者的工作负担。本文的目的是探索适用于评估医疗互动对话模型的最新大型语言模型（LLM）评估指标，并提出一套全面的评估指标，旨在从最终用户的角度全面评估医疗聊天机器人的性能。这些指标包括语言处理能力的评估、对真实世界临床任务的影响以及对用户互动对话的有效性评估。最后，我们对定义和实施这些指标所面临的挑战进行讨论，特别强调评估过程中涉及的目标受众、评估方法和提示技术等混淆因素。

    Sep, 2023

  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • clembench: 使用游戏玩法评估对话代理的聊天优化语言模型

    本文探索了一种方法，即在特定的游戏场景中测试大型语言模型的表现，以此来深入了解它们是否能像环境理解代理一样进行操作，涵盖了五个交互设置，并表明当前聊天优化的大型语言模型在一定程度上能够遵循游戏规则，并且用于衡量游戏表现和调查 LLM 的性能具有诊断价值。

    May, 2023

  • 利用大型语言模型改进自动 VQA 评估

    借助大型语言模型的上下文学习能力，我们提出了一个更好的 VQA 评估指标，该指标在多个 VQA 模型和基准测试中与人类判断更好地相关，希望广泛采用我们的指标以更好地估计 VQA 任务的研究进展。

    Oct, 2023

  • 以 LLMs 支持用户命令推理的面向人类的自主系统

    自动驾驶的进化取得了显著的进展，并成为了一个实际存在的现实。为了确保自动驾驶系统符合用户意图，准确辨别和解释用户指令尤其是在复杂或紧急情况下是至关重要的。为了实现这一目标，我们提出利用大型语言模型（LLMs）的推理能力，从车载用户的指令中推断系统需求。通过一系列实验，包括不同的 LLM 模型和提示设计，我们探索了通过自然语言文本指令从少量样本进行多元二值分类的精确度。我们确认 LLM 可以理解和推理提示，但强调其有效性取决于 LLM 模型的质量和适当的连续提示的设计。代码和模型可在以下链接找到：https://github.com/KTH-RPL/DriveCmd_LLM。

    Nov, 2023