本研究提出了一种名为 SuperCaptioning 的方法，通过借鉴 Super Characters 方法中的二维词嵌入思想，在一个单一的 CNN 模型中同时处理语言和视觉信息，从而将图像字幕生成问题转化为图像分类问题，实验证明此方法可以在 Flickr30k 数据上生成高质量的图像字幕，并提供互动演示。

May, 2019

我们提出了一种名为 Super Characters 的方法用于情感分类，它将文本转换成图像并使用 CNN 模型进行分类，无需将单词或字符嵌入数值向量表示。在四种不同语言包括中文，日语，韩语和英语的十个社交媒体数据集上，Super Characters 方法在情感分类和主题分类任务上始终优于其他方法。

Oct, 2018

本文提出了一种基于序列到序列模型和基于生成对抗网络的真实人物合成器的创新面对面对话系统，该系统在 ESPN 节目数据上训练和评估显示出可以生成自然面部表情和逼真的面部图像。

Aug, 2019

本文介绍了一种利用卷积深度结构语义神经网络特征进行信息检索的模型，以实现在与用户进行对话时产生人类般的对话互动，该模型采用上下文敏感的方法，具有显著优于传统基线模型的检索响应相关性。

Jun, 2016

本文提出了 SuperTML 方法，通过采用两维度嵌入超级字符的思想，将表格数据进行二维嵌入，然后使用 fine-tuned 二维 CNN 模型来解决分类问题。实验结果表明，该方法在大型和小型数据集上都取得了最先进的结果。

Feb, 2019

本论文研究了基于图像的对话沟通的大型架构和数据集，利用现代状态下的图像和文本表征方式考虑不同的融合方式以实现机器人与人之间的对话，提出了 Image-Chat 数据集并通过自动指标和人类评估验证了模型的有效性以及其在现有基准测试中的表现，并得出最佳模型与人类表现相当的结论。

Nov, 2018

该研究提出了一种新的生成数据驱动对话系统的方法，称为 TransferTransfo，它是基于传输学习和高容量 Transformer 模型的组合，使用多任务目标进行微调，取得了当前最先进的端到端对话模型如记忆增强 seq2seq 和信息检索模型所不能比拟的强大改进。

Jan, 2019

本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot 一样好，同时我们还研究并整合了安全组件，展示这种努力不会削弱模型性能方面的吸引力度量。

Oct, 2020

采用二维视角，提出了基于字符注意力全卷积网络的场景文本识别算法，该算法在语义分割网络中采用了字符注意机制和词形成模块，在不失精度的情况下更具有鲁棒性。

Sep, 2018

该研究旨在创建一个多模态人工智能系统，可以与人类交谈并分享相关图片，其中包括了图片检索模块和图片理解生成回复的模块。使用 ViT，BERT，GPT-2/DialoGPT 三个模型，在自动生成的和人工评估中结果显示，在开放式场景的图像识别中表现优异。

Apr, 2023