Nov, 2023

克莱尔法语对话数据集

PDF
TL;DRClaire French Dialogue Dataset (CFDD) is a multilingual, open source corpus of roughly 160 million words from transcripts and stage plays in French, created to further the development of language models, with descriptions of its composition, subcorpora breakdown, and standardization process.
发现论文，激发创造
  • FREDSum: 法国政治辩论的对话摘要语料库

    最近深度学习的进展，特别是编码器 - 解码器架构的发明，极大地改进了抽象摘要系统的性能。大部分研究集中在书面文件上，然而忽视了多方对话摘要的问题。本文提供了一组法国政治辩论的数据集，以增强多语对话摘要资源。我们的数据集包括手工转录和注释的政治辩论，涵盖一系列主题和观点。我们强调高质量的转录和注释对于训练准确有效的对话摘要模型的重要性，并强调支持非英语语言的对话摘要所需的多语资源。我们还使用最先进的方法提供了基准实验，并鼓励在这一领域进行进一步研究。我们的数据集将向研究社区公开提供。

    Dec, 2023

  • FreCDo：用于法语跨领域方言识别的大型语料库

    本文介绍一个收集于比利时、加拿大、法国和瑞士的公共新闻网站上的包含 413,522 个法语文本样本的新颖语料库。该文章通过对不同的新闻网站检索不同的关键词，消除了主题、写作风格和发布来源等潜在偏见，从而建立了一个法语跨领域方言识别任务；作者也通过四个竞争基线、基于微调的 CamemBERT 模型、基于微调 CamemBERT 特征的 XGBoost、基于微调 CamemBERT 特征的 SVM 分类器和基于单词 n-grams 的 SVM 进行了实验；最后，作者还分析了 CamemBERT 学到的最有区分度的特征。

    Dec, 2022

  • 古腾堡对话数据集

    本研究利用 Project Gutenberg 公共领域书籍中的对话构建了一个包括 14.8M 个语言表达的高质量对话数据集，分析并展示了对话提取管道的效果和误差分析。实验表明，训练我们的数据可以比训练更大但更嘈杂的 Opensubtitles 数据集在零射击和精调设置下取得更好的响应质量。同时，我们还建立了一个 Web 演示，通过调整各种平衡参数，研究人员可以构建他们版本的现有数据集。

    Apr, 2020

  • CJaFr-v3: 一个免费可获取的经过过滤的日法对齐语料库

    本文介绍了一个包含 1500 万对日文 - 法文句子的平行语料库，展示了资源的数量和质量，以及他们进行过的过滤方式和评估结果。通过该语料库训练和评估了一些标准的 MT 系统，证明了其实用性和过滤质量的有效性。

    Aug, 2022

  • Ubuntu 对话语料库：一份用于非结构化多轮对话系统研究的大型数据集

    介绍 Ubuntu 对话语料库，包含近 100 万个多轮对话，可以用于建立基于神经语言模型的对话管理器，同时提供适用于此数据集的两种神经学习架构，并在选择最佳下一个响应的任务上提供了基准表现。

    Jun, 2015

  • FQuAD: 法语问答数据集

    本文介绍了一种名为 FQuAD 的法语本地阅读理解数据集，并成功训练出基线模型，通过 F1 得分和准确匹配比率很好地回答了问题。同时，研究人员为追踪法语问答模型的进展提出了排行榜。

    Feb, 2020

  • FFSTC：方贝到法语口语翻译语料库

    介绍了首次推出的 Fongbe 到法语语音翻译语料库 (FFSTC)，该语料库包含约 31 小时的 Fongbe 语言内容，包括法语转录和相应的 Fongbe 语音录音，并通过使用 Fairseq 的 transformer_s 和 conformer 模型进行基线实验来评估数据质量和有效性，结果表明 transformer_s 模型得分 8.96，conformer 模型得分 8.14，为 FFSTC 语料库建立了基准。

    Mar, 2024

  • 使用法语翻译扩充 Librispeech：一种用于直接语音翻译评估的多模态语料库

    本文介绍了使用 LibriSpeech 增强现有单语语料库的方法，建立起一种包含源语言中的语音与目标语言中的文本的大型开放式平行语料库，并给出了相应的处理细节和手动评估结果，该平行语料库可以用于直接语音翻译或其他口语翻译实验。

    Feb, 2018

  • 法国方言的数据收集与分析

    本文探讨了创建和分析用于数据挖掘和文本分析研究的新数据集，为利兹大学国家方言语料库的联合研究项目做出了贡献。研究使用机器学习分类器对各个法语国家的法语方言文本样本进行分类，并遵循 CRISP-DM 方法论的步骤对数据进行了采集、质量问题和文本分析数据转换的探索。最后，在应用适当的数据挖掘技术后，讨论了评估方法、最佳特征和分类器以及结论。

    Aug, 2022

  • 一份法语多方对话资源

    本文介绍了一种名为 Dialogues in Games (DinG) 的法语口语游戏对话语料库，由多名玩家手动转录而成，旨在为法语提供一个长对话的高质量资源，以便于学习。在 DinG 中，参与者关注的焦点在游戏上，防止他们谈论自己。同时，研究人员对对话中问题的性质进行了注释，旨在开发更自然的自动对话系统。

    Jul, 2022