Jul, 2023
多模态讨论变换器：将文本、图像和图层变换器整合在一起，在社交媒体上检测仇恨言论
Multi-Modal Discussion Transformer: Integrating Text, Images and Graph Transformers to Detect Hate Speech on Social Media
Liam Hebert, Gaurav Sahu, Nanda Kishore Sreenivas, Lukasz Golab, Robin Cohen
TL;DR我们提出了一种新颖的多模态基于图的 Transformer 模型（mDT），用于检测在线社交网络中的仇恨言论。与传统的仅处理文本的方法相比，我们的方法围绕整体分析文本和图像对评论进行仇恨言论标记。为了组合文本和图像嵌入而不是单独处理不同的模态，我们利用图 Transformer 来捕捉整个讨论中的上下文关系，并插入融合层。我们将模型的性能与仅处理文本的基准进行比较，并进行了广泛的消融研究。最后，我们提出了未来的工作，探讨多模态解决方案在在线环境中提供社会价值，并认为捕捉对话的整体观点大大推进了检测反社会行为的努力。