Nov, 2023

旅游领域多语言社交内容的最佳分析策略

PDF
TL;DR社交媒体平台在各领域的日益影响，包括旅游业，凸显了有效且自动化的自然语言处理（NLP）方法对这一宝贵资源的需求。在这项工作中，我们评估和比较了针对旅游领域中常见的 3 个 NLP 任务（情感分析、命名实体识别和细粒度主题概念提取）的几种 few-shot、模式利用和微调机器学习技术在大型多语言语言模型（LLMs）上的性能，以确定解决领域特定数据集构建中 NLP 研究人员常遇到的标注示例数量问题的最佳策略。通过对新收集和注释的由旅游相关推文组成的多语言（法语、英语和西班牙语）数据集进行广泛实验，我们发现当前的 few-shot 学习技术可以在很少的注释数据的情况下为这三个任务获得具有竞争力的结果，情感分析每个标签（总共 15 条）标注 5 条推文，位置检测的推文量为 10%（大约 160 条），而包含主题概念的推文量约为 13%（大约 200 条），这是一项高度细粒度的基于一个包含 315 个类别库的序列标注任务。这项基于新数据集的比较分析为将 NLP 应用于新的领域特定应用铺平了道路，减少了手动标注的需要并绕过了基于规则的临时解决方案的复杂性。
social media platformsnatural language processingmultilingual language modelssentiment analysisnamed entity recognition
发现论文，激发创造
  • TweetNLP：社交媒体的前沿自然语言处理

    TweetNLP 是一个支持社交媒体中自然语言处理任务（包括情感分析、实体识别、表情预测和辱骂识别）的综合平台，其采用基于 Transformer 的语言模型，专门用于处理社交媒体文本，提供 Python 库、在线演示和教程等多种支持。

    Jun, 2022

  • 多任务和多语言模型用于词法分析

    该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型，通过研究 60 种语言的多种 NLP 任务，该论文表明了联合多任务和多语言建模的潜力，并暗示从这些模型中可以获得语言学洞见。

    Sep, 2018

  • 多源社交媒体情感分析的比较研究

    本文使用多种技术，如基于词典的、机器学习和深度学习方法，对社交媒体上的评论数据进行情感分析，并提供了比较分析结果。在本研究中，我们使用了来自 Twitter、Reddit 等社交网络网站的评论等多源数据集。选择了朴素贝叶斯机器学习算法、TextBlob 词典方法和 LSTM 深度学习算法。

    Dec, 2022

  • 使用自然语言处理和不同机器学习技术进行情感分析在美国航空公司 Twitter 数据上的比较研究

    本文介绍了两种自然语言处理技术（词袋和 TF-IDF）以及各种机器学习分类算法（支持向量机，逻辑回归，多项式朴素贝叶斯，随机森林）来分析大型，不平衡和多类数据集上的情感分析。最佳方法使用支持向量机和逻辑回归的词袋技术提供 77％的准确性。

    Oct, 2021

  • 多社交：机器生成的社交媒体文本检测的多语言基准

    该研究提出了第一个多语种（22 种语言）和多平台（5 个社交媒体平台）数据集 ——MultiSocial，用于在社交媒体领域评估机器生成文本检测的性能，结果显示 fine-tuned 的检测器在社交媒体文本上训练没有问题，并且训练过程中选择的平台对结果有影响。

    Jun, 2024

  • Twitter 上跨语言情感分类的简单方法

    本文提出了一种简单易用的多语言情感分析框架，旨在作为情感分析测试基线和构建新情感分析系统的起点。该框架经过在 8 种不同语言的比较中，在其中三种语言的国际竞赛中名列前茅，在其他语言中也超越了报告的结果。

    Dec, 2016

  • 多语言情感分析：一种基于循环神经网络的有限数据框架

    该研究旨在解决情感分析在不同语言中的多种语言依赖性问题，通过使用递归神经网络训练英文评论以建立一个主要用于英语的情感分析模型，并在俄语、西班牙语、土耳其语和荷兰语等其他语言中重复使用此模型来评估情绪，结果表明该方法在多语言情感分析中表现出色。

    Jun, 2018

  • 利用大量弱监督数据进行多语言情感分类

    本文提出了一种新的多语言情感分类方法，使用了大量的弱监督数据训练多层卷积网络，通过在多种语言数据集上进行充分的评估，证明该方法的优异性能，达到了同类研究的最高水平。

    Mar, 2017

  • 多语种事实核查索引检索

    本论文提出了一个新的多语言数据集 MultiClaim，其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果，并显示对这样一个多样化的数据集进行评估具有复杂性，需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法，显著提高了非监督方法的性能。

    May, 2023

  • 多语言数据分类的终身学习自然语言处理方法

    本研究提出了一种基于终身学习和多语言知识转移的新型假新闻检测方法，该方法利用传统特征提取器和深度自然语言处理模型结合多层感知器分类器，可以在英语和西班牙语数据集上提高假新闻分类任务的性能。

    May, 2022