新闻报道：通过图像和文本处理进行文章注释

Mar, 2016

新闻报道：通过图像和文本处理进行文章注释

BreakingNews: Article Annotation by Image and Text Processing

Arnau Ramisa, Fei Yan, Francesc Moreno-Noguer, Krystian Mikolajczyk

TL;DR本文提出了一种新颖的深度学习方法，适用于解决文字描述与图片内容松散相关的情况。这种方法在多任务和迁移学习中表现良好，可以有效地检测图片来源、预测热度、插图以及文章地理位置等问题。同时，研究人员构建了一个新的语料库以供研究者使用。研究表明，该方法在新闻文章的领域中具有很强的实用性。

Abstract

Building upon recent Deep Neural Network architectures, current approaches lying in the intersection of computer vision and natural language processing have achieved unprecedented breakthroughs in tasks like automatic captioning or image retrieval. Most of these learning methods, though, rely on large training sets of images associated with human annotations

deep learning multitask learning cnn architecture geolocation news articles

发现论文，激发创造

Good News, Everyone! 基于语境的实体感知新闻图片标题生成

该论文提出了一种新的图像描述方法，利用新闻文章中的上下文信息，动态扩展输出词典，通过可视化线索有选择性地从文章中提取信息，能够生成探究场景的描述，同时发表了最大的新闻图像字幕数据集 “GoodNews”，并展示了最先进的结果。

Apr, 2019

新闻故事：用视觉摘要来说明文章

该研究探索了一个新的问题，即学习对不同长度和数量的图像文本具有强鲁棒性的自我监督视觉语言表示法，其介绍了一个包括超过 31M 篇文章，22M 张图片和 1M 个视频的大规模多模态数据集，并表明最先进的图像文本对齐方法不能很好地处理带有多张图像和更长篇幅的叙述，且还提出了一种直观的基线方法，在 GoodNews 数据集上零样本图像集检索表现比这些方法高出 10%。

Jul, 2022

具有深度学习和自然语言能力的辅助图像标注系统：一项综述

本研究论文探讨了在计算机视觉任务中，超分辨率学习取得了显著的成功，但获取高质量的标注数据仍然是一个瓶颈。作者调查了 AI 辅助深度学习图像标注系统的学术和非学术作品，这些系统为注释者提供关于输入图像的文本建议、标题或描述，从而提高注释效率和质量。研究涵盖了各种计算机视觉任务的标注，包括图像分类、目标检测、回归、实例、语义分割和姿态估计。作者回顾了各种数据集以及它们对 AI 辅助标注系统的训练和评估的贡献。此外，作者还研究了利用神经符号学习、深度主动学习和自监督学习算法实现语义图像理解和生成自由文本输出的方法，包括图像字幕生成、视觉问答和多模态推理。尽管前景看好，但 AI 辅助图像标注与文本输出能力的公开可用作品有限。文章最后提出了未来研究方向的建议，强调了更多公开可用的数据集和学术界与工业界合作的必要性。

Jun, 2024

新闻图片标题生成的视觉感知上下文建模

新闻图像字幕生成的自动化方法通过设计面部命名模块和检索策略以优化视觉信息处理，并超越之前的最佳性能表现。

Aug, 2023

新闻部门升级：新闻文章自动图片选取系统

本文提出了一个自动化图像选择系统，用于协助编辑在新闻文章中选择合适的图片。该系统融合了从新闻文章中提取的多个文本来源，并接受多语言输入。它配备有字符级词嵌入，以帮助对形态丰富的语言建模，并在靠近的语言之间转移知识。文本编码器采用分层自注意机制，更多地关注文本中的关键字和新闻文章的信息组成部分。我们在瑞士本地新闻媒体网站收集的多模态多语言新闻文章的大规模文本 - 图像数据库上进行了广泛的实验。在弱监督学习设置中，将该系统与多个基线方法进行比较，并显示超过了现有的文本 - 图像检索方法。除此之外，我们还提供了使用多个文本来源和多语言数据的优势见解。

Apr, 2020

新闻报道场景下的图像描述

图像字幕生成的研究探索了针对名人照片的任务，旨在通过更直观的图像字幕框架丰富新闻报道的叙述，从而增强自动化新闻内容生成，促进信息的更具细致的传播。

Mar, 2024

使用深度神经网络架构进行图像字幕生成

该文讨论了图像字幕生成的各种模型，描述了对象识别和机器翻译的进展以及如何实现该模型，最后使用标准评估矩阵评估了该模型的性能。

Jan, 2018

视觉新闻：新闻图片字幕的基准和挑战

提出了 Visual News Captioner，这是一种实体感知模型，用于新闻图像字幕的任务。同时，引入了 Visual News，这是一个规模较大的基准，其中包含 100 多万张新闻图片以及相关新闻文章，图像字幕，作者信息和其他元数据等。

Oct, 2020

为新闻图像字幕选择相关和充分的上下文

本文提出了利用已预训练的视觉和语言检索模型 CLIP 来定位新闻文章中的可视化实体，并通过开放式关系抽取模型捕获非视觉实体，从而显着提高现有模型的性能和实现新的多个基准的最新性能。

Dec, 2022

利用文本 - 图像对比模型的能力自动检测在线谣言

本研究旨在探究对抗学习在虚假信息识别中的应用。通过开发自学模型并在 COSMOS 数据集上进行全面实验，我们发现采用对抗学习能够大幅减少训练数据，同时在数据量不足时显示出优于传统分类器的非匹配图像 - 文本对检测性能提高约 10% 的稳定性和可比性。

Apr, 2023