Jan, 2024

HuixiangDou: 基于 LLM 技术的克服群聊场景的技术协助

PDF
TL;DR本研究提出了一种由大型语言模型（LLM）驱动的技术助手 ——HuixiangDou。该系统旨在通过为与开源算法项目相关的问题提供深入的回答来帮助算法开发人员，例如来自 OpenMMLab 的计算机视觉和深度学习项目。我们进一步探索了将该助手集成到即时通讯工具（如微信和 Lark）的群聊中的方法。通过多次迭代的改进和试验，我们开发了一种复杂的技术聊天助手，能够有效地回答用户的技术问题而不会引起消息泛滥。本文的贡献包括：1）为群聊场景设计了一种算法流程；2）验证了 text2vec 在任务拒绝方面的可靠性表现；3）确定了技术助手类产品中 LLMs 的三个关键要求，即得分能力、上下文学习和长时间上下文。我们已经将软件和源代码发布在此 https URL 上，以便未来的研究和应用。HuixiangDou 适用于即时通讯工具中的任何群聊。
huixiangdoularge language modelsalgorithm developerstechnical chat assistantgroup chat scenarios
发现论文，激发创造
  • Chat Vector：为语言模型赋予新的语言聊天能力的简易方法

    使用聊天向量 (chat vector) 和计算上高效的方法，将对话模型 (ChatGPT) 与人类偏好对齐，展示了对非英语语言特别是中文的适应性及高效性。

    Oct, 2023

  • 使用大型语言模型评估聊天的三种方法

    本文通过三种不同的方法，基于大型语言模型（LLMs）对于 ChatGPT 响应的逐轮质量进行预测，并使用动态少量样本来改善基准，并分析了其他两种方法的性能并提出未来研究的改进。研究表明，Llama 2 模型正在缩小 ChatGPT 和开源 LLMs 之间的性能差距，但发现 Llama 2 模型不能像 ChatGPT 那样从少量样本中受益。

    Aug, 2023

  • ChatLaw: 带外部知识库集成的开源法律大语言模型

    本文介绍了一个名为 ChatLaw 的开源法律大语言模型，它通过特定的数据集、关键词检索和自注意力机制来优化模型在法律领域的表现，解决了参考数据筛选过程中的模型幻觉问题，提升了其解决问题的能力。

    Jun, 2023

  • 基于 LLM 助手何时出错：对基于提示的软件求助交互有效性的研究

    大型语言模型（LLM）助手是帮助用户浏览复杂多功能软件的潜在替代方法。我们通过与 16 名参与者的实验和后续访谈对 LLM 生成的软件指导进行了研究。我们比较了基准 LLM 助手与一种针对特定软件背景优化过的 LLM 助手 SoftAIBot，后者还提供了构建适当提示的指南。但令人惊讶的是，虽然 SoftAIBot 优于基准 LLM，但我们的结果显示，无论是否使用提示指南和领域上下文的集成，LLM 的使用和用户感知没有显著差异。大多数用户难以理解提示文本与 LLM 的回应之间的关联，并且通常逐字逐句地遵循 LLM 的建议，即使是错误的。这导致在使用 LLM 的软件任务建议时出现困难，降低了任务完成率。我们的详细分析还表明，用户对 LLM 的回应中的错误毫不知情，这表明他们在软件专业知识的缺乏和评估 LLM 助手的能力之间存在差距。随着设计领域特定 LLM 助手的推动日益增加，我们强调将可解释的、上下文感知的提示融入 LLM 中的重要性，以帮助用户理解基于提示的交互，识别偏见，并最大化 LLM 助手的效用。

    Feb, 2024

  • 利用大型语言模型进行集体决策

    利用大型语言模型 (LLMs) 管理会话和平衡个体偏好，以促进集体决策，并应用于公司会议安排。

    Nov, 2023

  • ChatGPT 备选方案：大型语言模型调查

    通过对多个 LLM 模型的研究，本文不仅提供了全面的概述，还明确了现有挑战，并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点，为进一步的探索、增强和创新提供了启示。

    Mar, 2024

  • 中荆：通过专家反馈和实际多轮对话提升大型语言模型的中医能力

    该研究论文介绍了一个基于中医的大型语言模型，通过从事前训练到强化学习与人类反馈（RLHF）的整个训练流程，以及引入一个包含 7 万个真实医患对话的中文多轮医疗对话数据集 CMtMedQA，该模型在多个方面超越了基线模型，并且通过对该模型的进一步改进来提高其指令遵循能力和安全性。

    Aug, 2023

  • 电信领域中 LLMs 的能力和局限性观察

    本文分析了引入生成式人工智能（AI）的大型语言模型（LLMs）—— 如 OpenAI 的 ChatGPT、GPT3.5 和 GPT4、谷歌的 Bard、Large Language Model Meta AI（LLaMA）等 —— 在通信界面（特别是企业无线产品和服务）中应用的能力和局限性，并针对 Craddlepoint 公开数据进行多个用例的比较分析，包括领域自适应、内容连贯性、输入扰动和错误的鲁棒性。我们相信这种评估将为数据科学家提供建立面向领域特定需求的定制对话接口的有用见解。

    May, 2023

  • MedChatZH：一个更好的医疗顾问从更好的指南中学习

    使用生成型的大型语言模型，在中医问答领域表现令人不满意，本研究引入了一个专门为中医问答设计的对话模型 MedChatZH，该模型在中医经典著作上进行预训练，并结合医学指南数据进行精细调优，在真实的医学对话数据集上胜过了几个基线模型。我们在链接上发布了我们的模型、代码和数据集，以促进传统中医和大型语言模型领域的进一步研究。

    Sep, 2023

  • 大型语言模型中的跨语言迁移学习动态数据采样器

    提出 ChatFlow 模型，通过跨语言迁移实现了大规模中文语言模型的高性能训练，包括大型语料库的收集与资源的利用、对齐跨语言表示以促进知识转移、使用动态数据采样器渐进式地将模型从无监督预训练过渡到有监督微调，实验证明了该方法在加速模型收敛和取得优越性能方面的优势。

    May, 2024