Feb, 2023

评估预训练语言模型在预测在线产品评论的帮助性方面的有效性

PDF
TL;DR本研究利用 RoBERTa 和 XLM-R 语言模型，对在线产品评论的帮助度进行有效预测。研究表明，相较于传统特征工程，使用预训练语言模型能达到更好的预测效果，并且多语言模型在某些情况下表现更佳。但是，多语言模型并不能用于单一语言的微调。同时，评论人打的分数等附加特征也可以增强模型的预测准确度。
发现论文，激发创造
  • 预训练多语言语言模型入门

    该论文调查了关于多语言语言模型的研究，包括零样本迁移学习，预训练，跨语言和双语任务，展望了未来研究的方向。

    Jul, 2021

  • 多语言语言模型预测人类阅读行为

    本文研究利用大型语言模型来预测人类阅读行为，并比较了针对特定语言和多语言的预训练变压器模型在预测荷兰语、英语、德语和俄语文本上反映自然人类句子处理的阅读时间测量方面的表现。结果显示，变压器模型可以准确地模拟人类阅读行为，预测出了各种眼动特征，表明变压器模型可以以类似于人类处理机制的方式隐式地编码语言的相对重要性。作者还分析了这些模型的跨领域和跨语言能力，并展示了它们如何反映人类句子处理。

    Apr, 2021

  • 超越静态模型和测试集：在任务和语言间评测预训练模型的潜力

    本文提出了一种利用语言数据和语言类型学特征来预测跨语种语言模型性能的方法，以此取代传统基于翻译的方法评估系统，该方法表现良好并且能够可靠地估计模型在不同语言上的表现。

    May, 2022

  • 利用预训练语言模型增强新闻推荐

    本文介绍了使用预训练语言模型进行个性化新闻推荐的方法，通过离线实验结果表明，该方法在英语和全球市场上都取得了显著的点击和页面查看量的提高，关键词包括个性化新闻推荐、文本建模、预训练语言模型、新闻建模和离线实验结果。

    Apr, 2021

  • 评估基于 BERT 预训练语言模型在检测谣言方面的表现

    本研究提出了使用基于 BERT 的预训练语言模型将文本数据编码为向量，并利用神经网络模型进行分类以检测谣言，进一步比较不同语言模型的表现与可训练参数。然后在不同的短文本和长文本数据集上进行了测试，结果表明该技术的表现优于现有技术，并测试其组合数据集的表现，结果表明大数据的训练和测试对提高技术的性能具有相当大的作用。

    Mar, 2022

  • 多语言转换器用于产品匹配 -- 波兰实验和新基准测评

    该论文展示了使用预训练的、多语言 Transformer 模型，并通过微调来解决英语和波兰语文本特征下的产品匹配问题。该论文在英语中测试了多语言 mBERT 和 XLM-RoBERTa 模型，发现在 Web Data Commons - 训练数据集和大规模产品匹配的黄金标准上，这些模型的表现与最新的解决方案相似，在某些情况下效果甚至更好。此外，该论文还使用波兰语制作了第一个产品匹配任务的开放数据集，并展示了微调后的 mBERT 和 XLM-RoBERTa 模型在波兰数据集上的基线结果。

    May, 2022

  • 预训练的多语言模型在不同语言间的公平性是否相同？

    探讨预训练多语言语言模型的组公平性，通过创建一个新的平行洞察测试实例的多语言数据集（MozArt）及使用人口统计信息来评估三种多语言模型（mBERT，XLM-R 和 mT5），我们发现这三种模型在四种目标语言中表现出不同程度的组不公平性，例如在西班牙语中表现出接近相等的风险，但在德语中表现出高水平的不平等。

    Oct, 2022

  • 基于预训练语言模型的知识感知协同过滤用于个性化基于评论的评分预测

    为解决个性化基于评论的评分预测中的问题，提出了一种名为 KCF-PLM 的知识感知协同过滤与预训练语言模型的方法，将评论文本、方面、知识图和预训练语言模型结合起来，通过表示传播和用户 - 物品引导关注来模拟用户 - 物品交互，实验证明了 KCF-PLM 的有效性。

    Aug, 2023

  • 评审人专业技能在时间性评审帮助性预测中的作用

    针对检测有用评价的问题，本研究提出了一个新的数据集和方法，该方法利用评论者的历史评价记录和评论的时间动态来自动评估评论的有用性，并展示了比多个基准方法更好的效果。

    Feb, 2023

  • mBBC: 探索多语迷宫

    多语言语言模型的综合评估：mBERT、XLM-R 和 GPT-3 在具有不同语言环境的各种语言上的性能评估，发现资源可用性对模型性能有重要影响，并且资源可用性、语言家族和脚本类型之间存在复杂关系，为模型选择和部署提供了见解。

    Oct, 2023