Aug, 2023

ViCo：利用人类偏好奖励来提升视频评论生成

PDF
TL;DR本文提出了 ViCo 方法，通过采用三个新设计来解决生成具有吸引力的视频评论所面临的挑战，包括量化评论的参与度、自动评估评论的参与度以及改进生成器以提高评论质量。通过在一个流行视频网站上收集的大规模视频评论数据集（ViCo-20k）进行实验，结果表明我们的 ViCo 模型在参与度考量下表现得最好，无论是定量指标还是定性结果。
engaging video commentscomment generationcaption-style encoder-decoder modelsquantifying engagementvideo commenting
发现论文，激发创造
  • 基于知识增强的实时视频评论生成模型

    本研究提出了一种基于预训练编码器 - 解码器框架并整合外部知识的方法，旨在为生成长视频的现场评论提供支持。作者共收集了一个 MovieLC 数据集，并开源了相关代码，实验结果表明，该模型在客观度量和人类评估方面具备较高的效率。

    Apr, 2023

  • 利用用户生成数据学习评论生成

    提出了一种结合检索和生成方法的方法，使用关注模块检索有信息量和相关性的用户生成数据评论，然后与文章一起作为输入，使用具有复制机制的序列到序列模型。在大规模评论生成数据集上展示了该模型的稳健性并证明了其在 BLEU-1 得分方面比具有注意力机制的 Seq2Seq 和信息检索模型等强基线模型显着优越约 27 和 30 个 BLEU-1 点。

    Oct, 2018

  • 利用用户评论提升视频文字检索

    本文介绍了一个包含视频、标题和评论的新数据集，并 presents 了一种基于 attention-based 机制的方法，该方法可以让模型从用户评论等有时不相关的数据中学习，并通过使用评论来学习更好的、更具上下文的图像、视频和音频表示。

    Oct, 2022

  • LiveChat: 从视听多模态环境生成视频评论

    通过创建大规模的音视频多模式对话数据集，以促进直播评论技术的发展，我们还提出了一种能够生成与视频中的时空事件以及正在进行的多模式对话上下文相吻合的实时评论的新颖多模式生成模型。

    Oct, 2023

  • ViCE！在图像生成评估中模仿人类的认知行为

    通过模拟人类认知过程，我们提出了一种新的自动化的视觉概念评估方法（ViCE），用于评估生成 / 编辑的图像与相应提示 / 说明之间的一致性，并为图像评分。虽然这种模拟人类在图像评估过程中的新假设正处于初步评估阶段，但结果令人鼓舞，并为一种新形式的自动评估打开了大门，这将在图像生成或图像目标编辑任务变得越来越复杂时产生重要影响。

    Jul, 2023

  • 顶评或踩评？预测和解释在线新闻讨论中的用户参与

    本研究采用神经网络模型对用户评论进行了分析，跟踪评论获得的赞和回复，并基于这些信息区分出具有高或低赞回复概率的评论。研究表明，有助于激发用户互动的评论特征可以按照一定的分类学进行整理，神经网络在分析这种回归问题时表现出最好的性能。

    Mar, 2020

  • 用户生成视频的标题生成

    本研究提出了两种方法扩展现有视频的字幕生成模型以生成视频标题，即通过高亮检测器使视频字幕生成模型具有敏感性并同时进行标题生成和视频亮点定位训练，以及通过增强句子多样性，用大量无对应视频的句子训练模型，并在 18100 个用户生成的视频和标题（VTW）数据集和 M-VAD 数据集上验证了本研究的方法，均获得了最佳效果。

    Aug, 2016

  • 基于大型语言模型的增强顺序推荐器用于联合视频和评论推荐

    在线视频平台中，评论已经成为观看视频时不可或缺的一部分，我们提出了一种名为 LSVCR 的新型推荐方法，通过利用用户与视频和评论的互动历史，联合进行个性化视频和评论推荐。

    Mar, 2024

  • 基于用户资料的个性化评论自动生成

    本文提出了社交媒体上自动生成个性化评论的任务，并基于微博上数万个用户的真实评论和用户画像，提出了 Personalized Comment Generation Network (PCGN) 模型来生成自然、类人的个性化评论。

    Jul, 2019

  • 交互式对话式头像生成

    该研究提出了一种新的对话头生成基准，用于在面对面对话中合成单个交流者的行为，通过构建两个数据集，并针对面对面对话中的互动建立三个新任务，我们定义了相应的基线解决方案，并通过实验结果表明我们的基线方法可以生成具有响应能力和生动感的代理人，可以与真人协作完成整个对话。

    Jul, 2023