基于大型语言模型的情境对话用于第二语言学习

Mar, 2024

基于大型语言模型的情境对话用于第二语言学习

Large Language Model based Situational Dialogues for Second Language Learning

Shuyao Xu, Long Qin, Tianyang Chen, Zhenzhou Zha, Bingxue Qiu...

TL;DR在第二语言学习中，基于情景的对话实践对于语言学习者实现口语流利至关重要，本文提出了基于情境的对话模型，通过在大型语言模型（LLMs）上进行微调，旨在结合开放式对话的吸引力和基于情景任务的集中练习。利用 LLMs 的泛化能力，我们证明了我们的情境对话模型在训练话题和未遇到的话题上都有效，为支持广泛的会话主题提供了有希望的解决方案。此外，对话系统领域的研究仍缺乏可靠的自动评估指标，引发人工评估作为黄金标准（Smith 等，2022）的问题，而且通常成本较高。为了解决现有评估方法的局限性，我们提出了一种新颖的自动评估方法，利用经过微调的 LLMs 来高效而有效地评估情境对话模型的性能。

Abstract

In second language learning, scenario-based conversation practice is important for language learners to achieve fluency in speaking, but students often lack sufficient opportunities to practice their conversation

second language learning scenario-based conversation practice situational dialogue models large language models automatic evaluation method

发现论文，激发创造

基于大语言模型的对话式生成自动驾驶仿真场景

本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

Oct, 2023

大型语言模型在语言学习中的口语智能

评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

Aug, 2023

理解大型语言模型在对话评估中的效果

本文探讨了大型语言模型在对话评估上的应用，发现训练模型的数据集的多样性和相关性是影响其性能的关键因素，同时探究了样本数量和使用类型对模型表现的影响。

Jan, 2023

LLM 对于面向任务的对话系统是否足够？

本研究旨在研究大型语言模型在多轮任务和与外部数据库交互方面的能力，发现在显式信仰状态跟踪方面，它们表现不如专门的任务特定模型，但是如果给出正确的插槽值，它们表现出将对话引导到成功结局的能力，并且在有真实信仰状态分布或域内示例的情况下，这种能力得到了改进。

Apr, 2023

面向任务的对话与上下文学习

使用大型语言模型（LLMs）的上下文学习能力与业务逻辑的确定执行相结合，描述了一种构建面向任务的对话系统的系统。与主要用于行业的基于意图的 NLU 方法相比较，我们的实验表明，使用我们的系统开发聊天机器人所需的工作量明显较少，这些聊天机器人可以成功地进行复杂对话，并且我们的系统对于大规模任务导向的对话系统具有可扩展的有益特性。我们提供了我们的实现用于使用和进一步研究。

Feb, 2024

场景和方法用于情境化的自然语言解释

利用大型语言模型，针对不同用户情境生成自然语言解释，并通过定量评估展示适应程度。我们收集了一个基准数据集，包括 100 个解释对象，每个对象都与针对三个不同受众类型（如教育工作者、学生和专业人员）的解释配对，使我们能够评估解释在特定信息需求和背景下让这些多样化群体（如学生、教师和家长）满意的程度。通过预训练语言模型，在不同大小的预训练语言模型上，我们考察了三类提示方法：基于规则的提示，元提示和上下文学习提示。我们发现：1）语言模型可以生成与目标情境更准确对齐的提示产生的解释；2）通过提示 “您是一个乐于助人的助手…” 来明确建模 “助手” 角色不是定位自然语言解释任务的必要技术；3）只有上下文学习提示能够帮助语言模型学习演示模板，但无法提高它们的推理性能。该基准数据集及我们的分析有助于未来生成情境化自然语言解释的研究。

Jun, 2024

使用大型语言模型进行任务导向对话评估的用户模拟

为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

Sep, 2023

对话模型的节约提示

研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

May, 2023

利用大型语言模型实现移动界面的交互式对话功能

本文旨在通过预训练大型语言模型及相应的提示技术，实现轻量级、可通用的基于自然语言的手机交互，解决开发人员需要针对每项具体任务创建独立数据集和模型的成本和劳动力问题。研究表明，针对移动 UI 设计的四项重要建模任务中，我们的方法在不需要专用数据集和训练的情况下，取得了令人满意的竞争成绩。

Sep, 2022

利用 LLMs 进行对话质量测量

该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的 LLMs 优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的 LLMs 可以用于自动对话评估。

Jun, 2024