EMNLPOct, 2023

CarExpert：利用大型语言模型实现车载对话问答

PDF
TL;DRCarExpert 通过借助大型语言模型（LLMs）在不针对特定任务和数据进行微调的情况下，控制输入，为抽取和生成回答组件提供特定领域的文档，并控制输出，以确保生成自然、安全且针对汽车领域的答案，优于最先进的 LLMs。
large language modelsdomain-specific question answeringcarexpertretrieval-augmented conversational question-answering systemsafe and domain-specific answers
发现论文，激发创造
  • 强化大型语言模型在工业领域特定问题回答上的表现

    本研究提供了一个基于微软产品和技术问题的产业特定 QA 知识的检测基准 MSQA，旨在评估旨在提高 LLM 领域特定能力的方法。此外，我们提出了一种新的模型交互范式，可以使 LLM 在不熟练的领域特定任务上实现更好的性能。实验表明，遵循我们的模型融合框架的方法优于常用的检索方法的 LLM。

    May, 2023

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 利用大型语言模型进行 NLP 教育中的概念图恢复和问题回答

    本研究探索了大型语言模型在教育应用中的能力，重点关注概念图恢复和问题回答。研究通过引入 TutorQA，一个新的专家验证的自然语言处理基准，评估了大型语言模型在领域特定的概念图和问题回答中的性能，证明其零 - shot 概念图恢复具有竞争力，且 CGLLM 生成的答案具有更精细的概念。

    Feb, 2024

  • 接收、推理和反应：在自动驾驶车辆中根据您的指令驾驶的大型语言模型

    通过利用大型语言模型（LLMs）的语言和推理能力，本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范，我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。

    Oct, 2023

  • 基于大型语言模型的自动驾驶的混合推理

    研究表明，大型语言模型（LLMs）在自动驾驶场景中能够适应和应用算术和常识推理的组合，通过分析检测到的物体和传感器数据、理解驾驶法规和物理规律，并提供额外的上下文信息，从而改善自动驾驶车辆的制动和油门控制，以做出更准确的决策。

    Feb, 2024

  • InCA: 大型语言模型的车载会话系统评估的重新思考

    在研究中提出了一套特定于汽车问答系统的关键绩效指标（KPIs）和相应的数据集，通过初步的全面实证评估证明了该方法的有效性，并研究了在提示中使用不同角色的影响，发现这样做可以增强模型在评估中模拟多样观点的能力，从而反映具有不同背景的个体对于一个主题的感知。

    Nov, 2023

  • MedLM：探索面向医学问答系统的语言模型

    本研究通过比较一般性和专用于医学问答的精简语言模型的性能，旨在填补这方面的空白，并评估不同语言模型家族的性能，以探讨这些模型在医学问答领域的可靠性、比较性能和有效性，从而为不同语言模型在医学领域的特定应用提供有价值的见解。

    Jan, 2024

  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 以 LLMs 支持用户命令推理的面向人类的自主系统

    自动驾驶的进化取得了显著的进展，并成为了一个实际存在的现实。为了确保自动驾驶系统符合用户意图，准确辨别和解释用户指令尤其是在复杂或紧急情况下是至关重要的。为了实现这一目标，我们提出利用大型语言模型（LLMs）的推理能力，从车载用户的指令中推断系统需求。通过一系列实验，包括不同的 LLM 模型和提示设计，我们探索了通过自然语言文本指令从少量样本进行多元二值分类的精确度。我们确认 LLM 可以理解和推理提示，但强调其有效性取决于 LLM 模型的质量和适当的连续提示的设计。代码和模型可在以下链接找到：https://github.com/KTH-RPL/DriveCmd_LLM。

    Nov, 2023

  • 利用 LLM 提升条件问答

    该研究探讨了大型语言模型 (LLMs) 在具有挑战性的条件问答领域中的能力和局限性。利用条件问答 (CQA) 数据集，重点关注 T5 和 UL2 等生成模型，我们评估了 LLMs 在不同问题类型上的性能。研究发现，经过微调的 LLMs 在某些情况下可以超越现有技术在一些方面的表现，即使没有完全编码所有输入上下文，对于是 / 否问题的精确匹配 (EM) 和 F1 分数有 7-8 个点的增加。然而，这些模型在抽取性问答方面遇到了挑战，在与现有技术相比落后于 10 个以上的点，并且在减少注入错误信息的风险方面也存在问题。与神谕检索器进行的一项研究强调了有效证据检索的关键作用，强调了该领域需要先进解决方案的必要性。此外，我们强调了评估评价指标对性能评估的重要影响，并倡导使用更全面的评估框架。任务的复杂性、观察到的性能差异以及在条件问答任务中改进训练任务和探索基于提示的技术以提高 LLMs 性能的未来工作的需求，突显了这一领域面临的持续挑战。

    Dec, 2023