May, 2024

多语言聊天数据集：Tagengo

PDF
TL;DR我们提供了一个高质量的数据集，包含 74 种语言中的超过 70k 个提示 - 回应对，用于训练最先进的开源英语语言模型，以实现多语言对话。在 6 种语言的 MT-Bench 对话基准测试中，我们的多语言模型优于先前的开源语言模型。此外，我们发现在更多多语言数据上进行训练有助于比仅仅在特定语言的数据上进行训练（如日语），从而提高性能。这些结果表明，在大量高质量多语言数据的训练下，实现更易用的语言模型变得必要。
large language modelsmultilingualdatasetstate-of-the-arttraining data
发现论文，激发创造
  • 日语聊天数据集的构建及其方法论

    该研究构建了一个日语聊天数据集，用于调整大型语言模型（LLMs），结果显示该数据集有可能对 LLMs 有利，但也揭示了在非英语语言中构建 LLMs 所面临的一些困难。

    May, 2023

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • 万卷：推动英文和中文大型模型的全面多模态数据集

    本文介绍了 “Wan Juan” 数据集，一个大规模多模态数据集，包括中英文数据、文本、图像文本和视频模态，总容量超过 2TB。该数据集被用于训练 InternLM 模型，在与类似规模的模型相比的多维评估中展现出显著优势。

    Aug, 2023

  • 古腾堡对话数据集

    本研究利用 Project Gutenberg 公共领域书籍中的对话构建了一个包括 14.8M 个语言表达的高质量对话数据集，分析并展示了对话提取管道的效果和误差分析。实验表明，训练我们的数据可以比训练更大但更嘈杂的 Opensubtitles 数据集在零射击和精调设置下取得更好的响应质量。同时，我们还建立了一个 Web 演示，通过调整各种平衡参数，研究人员可以构建他们版本的现有数据集。

    Apr, 2020

  • 简单的 LLM 提示是稳健多语言对话评估的尖端技术

    研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

    Aug, 2023

  • MLS: 一个大规模的多语言语音研究数据集

    本文介绍了 Multilingual LibriSpeech（MLS）数据集，这是一个大型的多语言语音研究语料库，包括 8 种语言，以及相应语言模型和基线自动语音识别模型。该数据集将在 http URL 上免费提供，我们相信它将为 ASR 和 TTS 研究开辟新的途径。

    Dec, 2020

  • 通过扩大高质量的指导性对话提升聊天语言模型

    本文介绍了通过 fine-tuning instruction data 实现 ChatGPT 之类聊天语言模型的有效性，提出了一个系统设计的、不涉及人类查询、包含 150 万高质量多轮对话的 UltraChat 聊天数据集，使用该数据集 fine-tune 了 LLaMA 模型得到了更好的性能表现，成为领先的开源数据集。

    May, 2023

  • 大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

    通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

    Jan, 2024

  • 运用大型语言模型强化聊天机器人以搜集用户自报数据

    本研究旨在探讨如何设计自然语言提示以使聊天机器人能够自然地进行对话，从而可靠地收集用户自报数据。通过在线研究（N = 48），我们通过不同的自然语言提示设计和对话主题对聊天机器人进行了评估，并发现提示设计和主题显着影响了对话流程和数据收集表现。

    Jan, 2023

  • PLACES：用于社交对话综合的激励语言模型

    使用专家编写的少量对话作为上下文示例，通过提示生成社交对话数据集，可在多方交流任务中创建更多的合成数据。与人类收集的对话相比，合成的多方交流在所有度量维度上都获得了更多的好评。

    Feb, 2023