多模态序列到序列任务的神经交互预测系统
通过交互式预测神经机器翻译框架进行模型个性化,并借助强化学习和模仿学习的方法。在交互式的过程中,用户可以反馈不确定区域的翻译结果,并能提交编辑建议,我们通过集成这些反馈,使用约束束搜索,对模型进行调整迭代,实验结果表明,相对于传统监督模型,该模型更易于个性化,并且具有相近的翻译性能
Jul, 2019
本教程介绍了一组称为 “神经机器翻译” 或 “神经序列到序列模型” 的新而强大的技术,这些技术已被用于处理人类语言的许多任务,并可成为任何想要建模某种形式的连续数据的人员工具箱中的强大工具。教程假定读者了解数学和编程的基础知识,但不假定具有神经网络或自然语言处理方面的任何特定经验。它试图解释所涵盖各种方法的直觉,然后具体讲解它们的数学细节,并以建议实现练习作为高潮,读者可以在实践中测试他们是否理解了内容。
Mar, 2017
通过序列到序列的循环神经网络模型,从图像中提取对象序列并引入顺序注意力层,将图像的顺序信息自然地转化为单词序列,在 MS COCO 数据集中超越了现有方法并且在评估服务中也取得了竞争性的结果。
Feb, 2017
我们介绍了一个在线学习神经机器翻译的系统,并将其与专业翻译人员最常用的 SDL Trados Studio 用户界面集成,以节省机器不断学习和适应特定领域或用户风格的人类选择所需的时间和努力。
Jun, 2019
InstructSeq 是一种多模态建模框架,通过灵活的自然语言控制和处理视觉和文本数据,将多样化的视觉任务统一起来。通过使用 LLM 生成的自然语言指令进行训练,InstructSeq 在指定视觉任务的自由形式指令理解方面具有强大的能力,并在语义分割、引用表达分割 / 理解和图像字幕等任务上取得了令人信服的性能。该模型的灵活控制和多任务统一使其具备了类似人类的多样性和泛化能力,并且即将发布其代码。
Nov, 2023
该文章介绍了一种基于序列到序列模型和 LSTM 的视频描述方法,利用时间结构,将视频帧序列与单词序列相关联来生成视频描述,同时该模型能够学习视频帧的时间结构和所生成句子的语言模型。
May, 2015
该研究提出了一种交互式预测神经机器翻译的方法,通过人类质量判断和基于熵的不确定性准则来降低人力需求以及实现在线模型参数的更新,模拟实验表明这种方法可以显著提高翻译质量并将人力需求控制在一个较低的水平。
May, 2018
该论文提出了一种新的通信系统框架,利用多模式生成模型的优势生成有前途的代沟能力。我们的主要研究方向是基于图像到文本转换和顺序传输单词令牌的通信系统设计,旨在为实际通信系统利用最先进的生成模型铺平新的道路。
Sep, 2023