Apr, 2023

MMT：一个印度多语言和多主题的社交媒体数据集

PDF
TL;DR本文介绍了一个从 Twitter 中收集的大规模、多语言和多主题数据集，包括印度情境下 13 个粗粒度和 63 个细粒度的主题，以及对其中一部分数据进行的注释，进而展示当前现有工具在语言识别和主题建模上面对的挑战和失败，以及为未来的相关研究提供了一个公开的、注释的数据集。
social medianatural language processingmultilingual datasetindian contextlinguistic diversity
发现论文，激发创造
  • IndicMT Eval：用于评估印度语机器翻译度量的数据集

    本文旨在创建一个 MQM 数据集，以系统地评估 7 个机器翻译系统中 5 种印度语言的翻译质量，并探讨自动化评估指标和人工评分之间的相关性。结果表明预先训练的指标 COMET 与人工评分相关性最高，但这些指标并未恰当地捕捉印度语言中的流畅性错误，因此需要开发注重印度语言的度量指标。

    Dec, 2022

  • 超越三元组：利用最多数据进行多模态机器翻译

    通过提出一个新的方法和新的数据集，本文致力于提高多模式机器翻译的翻译质量并解决了只能利用少量数据和当前的基准相对较为受限约束的问题，结果表明我们的方法更适合实际场景并显著提高了翻译性能。

    Dec, 2022

  • 孟加拉 AI：利用大型语言模型进行民族媒体机器翻译的框架

    该研究探讨了大型语言模型和多语言机器翻译在民族媒体行业的整合前景，并介绍了将大型语言模型和多语言机器翻译应用于民族媒体的新闻搜索和翻译过程的理论框架，同时简要讨论了在新闻翻译过程中整合大型语言模型和多语言机器翻译可能面临的道德挑战。

    Feb, 2024

  • MM-Soc: 社交媒体平台上多模态大型语言模型的基准测试

    社交媒体是多模态信息交流的中心，包括文本、图片和视频，这对机器来理解在线空间中的信息或情感相关的交互构成了挑战。本文介绍了 MM-Soc，一个综合性基准，旨在评估多模态大型语言模型对多模态社交媒体内容的理解能力。通过我们对四个开源多模态大型语言模型的十个规模变体的详尽评估，我们发现了重要的性能差异，突出了模型在社交理解能力方面的改进需求。

    Feb, 2024

  • 多社交：机器生成的社交媒体文本检测的多语言基准

    该研究提出了第一个多语种（22 种语言）和多平台（5 个社交媒体平台）数据集 ——MultiSocial，用于在社交媒体领域评估机器生成文本检测的性能，结果显示 fine-tuned 的检测器在社交媒体文本上训练没有问题，并且训练过程中选择的平台对结果有影响。

    Jun, 2024

  • 社交媒体上的多模式聊天数据集

    探索利用图片等多模态语境来改善对话系统，使用自然语言数据集 MMChat，通过人工筛选和过滤得到 MMChat-hf，利用注意力机制改善生成任务的稀疏性，结果表明引入图片特征的有效性和处理稀疏性的效力。

    Aug, 2021

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • 3AM: 一个模糊感知的多模式机器翻译数据集

    通过引入 3AM 数据集，本文提出了一种新的解决方案来改善多模态机器翻译中存在的视觉信息不足的问题，并通过提供更具含糊性和更多种类的数据集，实现了对现有多模态机器翻译数据集更好的训练效果，进一步促进了多模态学习领域的研究和探索。

    Apr, 2024

  • SemEval 2023 任务 9：多语言推文亲密度分析

    提出了一个名为 MINT 的针对 13,372 条推文的多语言亲密性分析数据集，并在英语、法语、西班牙语、意大利语、葡萄牙语、韩语、荷兰语、中文、印地语和阿拉伯语等 10 种语言上进行了基准测试，并发布了该数据集。同时，与此数据集相关的语义分析比赛任务为 SemEval 2023 Task 9: Multilingual Tweet Intimacy Analysis。

    Oct, 2022

  • 大规模多语言神经机器翻译的鲁棒性实证研究

    我们通过实证研究了印度尼西亚 - 汉语翻译在不同噪声环境下的翻译稳健性，并创建了一个用于评估翻译稳健性的基准数据集。

    May, 2024