EMNLPOct, 2020

多语言亚马逊评论语料库

PDF
TL;DR该研究介绍了一个包含英文、日文、德语、法语、西班牙语和中文的跨语言 Amazon 评论语料库 (MARC)，并提出了利用多语言 BERT 模型进行文本分类和零样本跨语言迁移学习的方法。研究使用平均绝对误差 (MAE) 代替分类准确率进行了实验，并获得了基准结果。
multilingual amazon reviews corpustext classificationsupervised learningcross-lingual transfer learningmean absolute error
发现论文，激发创造
  • mMARCO：MS MARCO 段落排名数据集的多语言版本

    该研究介绍了 mMARCO，使用机器翻译创建的包含 13 种语言的 MS MARCO 段落排名数据集的多语言版本，并评估了针对该数据集的多语言重新排名模型和稠密检索模型的效果。研究者们还在零 - shot 场景下使用 mMARCO 数据集微调了模型，在 Mr.TyDi 数据集上展示了多语言模型相对于仅使用英文原版的模型的更高效性。这个研究也表明，翻译质量的提高与检索效果相关，为提高多语版信息检索的效果提供了理论支持。

    Aug, 2021

  • 大规模多语种情感数据集和多方面情感分类基准

    该研究提供了一个由 79 个数据集组成的开放性跨语言语料库，可用于培训情感模型，同时展现了基于不同基础模型、训练目标、数据集集合和微调策略所进行的数百次实验的多方面情感分类基准。

    Jun, 2023

  • 八种语言多语言文档分类语料库

    本篇研究提出了一种新的 Reuters 子语料库，其针对 8 种语言具有平衡的类先验分布，旨在通过使用多语言词向量和句子嵌入来提供跨语言文档分类的基线，并促进该重要领域的研究。

    May, 2018

  • 一瞥即知质量：对多语言网络爬虫数据集的审计

    本文主要旨在探究如何评估及提高多语料库的质量，并针对少资源语言建议相关技术，同时也讨论低质量数据发布所可能带来的潜在风险。

    Mar, 2021

  • MultiBooked: 基于方面级情感分类的巴斯克语和加泰罗尼亚语酒店评论语料库

    本研究针对资源缺乏的巴斯克语和加泰罗尼亚语，提供了两个数据集，并提供了高质量的标注和基准，希望对研究这些语言的学者有所帮助。

    Mar, 2018

  • L3Cube-MahaNews：马拉地语基于新闻的短文本和长文档分类数据集

    我们介绍了 L3Cube-MahaNews，这是一个关注新闻标题和文章的最大的监督式马拉地语文本分类语料库，包含超过 1.05L 条记录，分为 12 个不同类别的多样性范围。我们提供了使用最先进的预训练 BERT 模型在这些数据集上的详细统计数据和基线结果。在各个数据集上，单一语言的 MahaBERT 模型的性能都优于其他模型。这些资源也可用作马拉地语主题分类数据集或模型，并可在此 https URL 中公开获取。

    Apr, 2024

  • 餐厅评论的机器翻译：适应领域和健壮性的新语料库

    探讨在真实场景中提高神经机器翻译质量的挑战，通过基于情感分析或特定于领域的多义词汇的翻译准确性等任务特定指标的性能评估，表明本文提出的基于最新技术的机器翻译鲁棒性模型明显优于现有在线系统。

    Oct, 2019

  • 大型语言模型的零翻译双语应用评论挖掘

    提出了一种基于大型语言模型（LLMs）的工具 Mini-BAR，用于进行英语和法语用户评论的零 - shot 挖掘，对应需求工程领域的双语应用程序评论分析。

    Nov, 2023

  • 西班牙语抽象意义表征：一般语料库的标注

    本文提出了第一个为西班牙语创建的大型抽象意义表示注释语料库，利用了 AnCora-Net 词典中的西班牙语 rolesets，扩展了英语 AMR，其中包括 586 个带有语义特征的句子注释，为实现跨语言 AMR 分析提供了更全面的方法。

    Apr, 2022

  • 面向语言建模的大规模多样化阿拉伯语语料库

    这项研究介绍了一个由超过 500GB 的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的 NLP 任务进行微调时，与 mBERT 相比表现出 4.5% 至 8.5% 的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。

    Jan, 2022