ACLAug, 2021

低资源开放领域生成式聊天机器人的适应

PDF
TL;DR我们提出了一种通用的框架，该框架可以在保持低参数的前提下，同时保持聊天机器人的通用知识和特定领域的能力，并可以在交互中实现无缝转换，并通过对话进行参考跟踪和去除不一致的回应来改善数字助手的交互效果。
发现论文，激发创造
  • 构建开放领域聊天机器人的配方

    本研究旨在构建开放领域聊天机器人，通过构建变体模型，在多轮对话中提高回答的连贯性与个性，进而提升聊天机器人的人性化表现。我们成功实现了使用大规模模型进行训练的目标，并在人工评估中取得了成功。

    Apr, 2020

  • 混合是你所需的一切：更便宜、更好的兆参数 LLM 的替代方案

    研究表明，通过 “混合” 策略集成多个中小型模型可以在不增加计算资源需求的情况下，实现与较大型模型相媲美或超越其性能指标。

    Jan, 2024

  • 大规模多参与者生成对话建模

    本文提出了一种新的对话代理模型 ——Generative Conversation Control，它能够控制对话代理的个性，并通过控制该模型上一次与目标演员的对话，实现对话代理个性的表达，该模型在 Reddit 评论数据上进行了验证和评估，其效果得到了显著提高。

    May, 2020

  • 电信领域中 LLMs 的能力和局限性观察

    本文分析了引入生成式人工智能（AI）的大型语言模型（LLMs）—— 如 OpenAI 的 ChatGPT、GPT3.5 和 GPT4、谷歌的 Bard、Large Language Model Meta AI（LLaMA）等 —— 在通信界面（特别是企业无线产品和服务）中应用的能力和局限性，并针对 Craddlepoint 公开数据进行多个用例的比较分析，包括领域自适应、内容连贯性、输入扰动和错误的鲁棒性。我们相信这种评估将为数据科学家提供建立面向领域特定需求的定制对话接口的有用见解。

    May, 2023

  • 基于本地知识的对话式代理

    本文介绍了一个基于 Reddit 对话数据集的对话框架，并探讨如何整合局部知识以改善对话质量，研究结果表明，局部知识的整合显著提高了信息性、连贯性和逼真度，且所提出的方法在 Reddit 数据集上表现优于现有方法。同时发现，将模型的参数规模从 117M 扩展到 8.3B 能够显著提高验证困惑度和人工评估指标，使模型在单轮对话设置中生成的响应更加类人。

    Oct, 2020

  • 利用大规模语言模型构建具有角色指定的开放域对话系统

    本研究旨在解决将角色赋予开放领域对话系统的问题，并提出了一个高效的数据收集框架，借助大规模语言模型的上下文少样本学习来构建满足角色约束的对话数据集。在此基础上，通过比较不同架构的开放领域对话系统，在保持其会话能力的同时满足角色约束。研究结果消息表明，我们的模型返回少量越界言论，在一般指标上保持竞争力。

    Apr, 2022

  • 基于任务导向和非任务导向的口语对话系统结合的智能助理对话检测

    研究智能助手是否可以匹配用户的聊天意图，构建了新的数据集以及使用推特和 Web 搜索查询来处理无特定领域的用户发言，实验结果表明，使用 tweets 和 Web 搜索查询可以进一步提高智能助手的 F1 分数。

    May, 2017

  • 多模态开放领域对话

    本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot 一样好，同时我们还研究并整合了安全组件，展示这种努力不会削弱模型性能方面的吸引力度量。

    Oct, 2020

  • 构建智能开放领域对话系统的挑战

    本文回顾了近期关于神经网络方法在开放领域对话系统中解决语义、一致性和互动性挑战的工作，以实现与用户建立长期连结并满足人类沟通、情感和社会归属需求。

    May, 2019

  • 超越短时记忆：长期开放领域对话

    该研究探讨了长期对话设置中的开放领域对话模型表现问题，并创建多个对话会话的数据集来研究长文本模型，发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构，成为更好的选择。

    Jul, 2021