- BRENT: 双向检索增强挪威变压器
利用 REALM 框架进行适应性评估,开发了第一个挪威基于检索的语言模型,证明了检索增强语言建模可提高读者在摘要问答上的表现,并表明这种类型的训练不会以其他功能为代价。
- SegGPT:上下文中的所有内容分割
SegGPT 是一个通用的模型,通过将各种分割任务转换为图像格式,将多个分割任务统一为一个框架,并通过随机颜色映射的上下文涂色问题进行训练。该模型可以在图像或视频分类下进行任意分割任务,并在各种任务中表现出强大的能力,包括少样本语义分割、视 - 动态命名实体识别
本研究介绍了一项新任务:Dynamic Named Entity Recognition(DNER),提供了一个框架,以更好地利用上下文来评估算法提取实体的能力。DNER 基于两个数据集,DNER-RotoWire 和 DNER-IMDb, - 从局部纠正中学习操作方式
该论文介绍了一种代理学习模型,在不同的上下文中学习行动执行方式,并利用试错和口头纠正来解决其领域级计划问题。
- AAAI基于图变换的定性分析,应对仇恨言论:适应内容动态变化
本文介绍了一种利用图转换网络、注意力和 BERT 等自然语言处理技术来预测社交媒体中仇恨言论的方法,并分析了该方法在检测效果上的优劣和扩展性。研究发现,关注上下文可以支持多模态的在线帖子分析,从而解决社会影响的 AI 解决方案中面临的动态变 - 语言模型接受度判断对上下文敏感性不强
本文研究了语言模型对有不同语境且违反语法规则的句子的语法判断能力的鲁棒性,结果发现模型判断能力在线性语境下稳定,在和测试内容有相同句法结构的语境中不稳定,此外,文章还探究了模型训练时语境对语法判断的影响,并指出模型在不同语境下的表现是由其隐 - 基于实境的语言学习中的语用学问题、任务和建模方法
人们通过上下文来丰富文字表达,实现简洁而有效的沟通,为了让人工智能系统能够与人类进行自然交互,需要强调语用学技能,从分享语言目标和约定到视觉和肢体世界中的语境等,利用各种上下文信息有效地运用语言。本文调查现有的语境实现和语用模型方法,并分析 - NTULM: 以非文本单元丰富社交媒体文本表示
本文构建一个基于 NTUs 的异构社交网络并将其整合到一种预训练语言模型中,实验证明利用 NTUs 显著优于现有的基于文本的基准线,突显出将 NTU 上下文应用于社交媒体 NLP 的重要性。
- EMNLP最近邻语言模型用于风格可控生成
本文构建并评估了一种基于外部记忆的语言建模方法,利用政治正确、正式性和毒性等属性进行样式控制,结果显示基于样式专用数据存储器的生成性能得到了提高,但仍需在未来的工作中探索预训练数据和特定样式的效果。
- 个性化对话生成:基于角色自适应注意力机制
本文提出一种基于人设适应注意力 (PAA) 的对话生成框架,该框架可在考虑对话上下文和人设的情况下,自适应地整合来自人设和上下文信息的权重。与强基准相比,实验结果表明,所提出的 PAA 框架在自动和人类评估方面均具有优越性,并且与在全数据设 - SUMBot: 开放域对话系统中的上下文概述
本文研究了在开放式对话系统中将相关信息作为上下文的问题,并提出了一种替换上下文部分的简易方法以增加模型跟踪先前相关信息的能力,以期提高答案生成任务的效果。
- 扩展智能
智能不仅存在于个体,也与其上下文环境交互作用,我们在此文中阐述了扩展智能的概念,强调了环境、其他个体、文化和技术等上下文因素对于个体的智能具有重要作用,指出智能是与人物特定任务相关的、无法衡量的。此论点具有很强的启示性,在心理学和人工智能领 - 社交媒体上的计算机挖掘讽刺语言:系统综述
本研究旨在对英语计算讽刺研究的最新进展和趋势进行简要概述,包括使用非监督预训练转换器在多模态环境中进行讽刺检测以及整合上下文以识别讽刺。我们介绍与讽刺相关的数据集、方法、趋势、问题、挑战和任务,提供针对讽刺的特征和其提取方法的汇总表,以及各 - 为电子邮件对话调整任务导向的对话模型
本文提供了一个有效的 Transfer Learning 框架(EMToD),使得最新的对话模型发展能够适用于长格式对话,通过实验证明该框架相较于预训练的语言模型性能提升 45%、预训练的任务导向对话模型性能提升 30% 用于任务导向的电子 - 表格数据中的实体链接需要正确的注意
本文研究如何将表格数据与知识库中的实体进行实体链接。通过引入一个名为 Tabular Entity Linking Lite (TELL) 的模型,可以在不依赖于查询目标知识库中事实的情况下,以常数内存使用量为代价获得与当今最先进的基于注意 - ACL仇恨言论和对话语境相关的反言检测
研究表明,上下文对于识别网络仇恨言论和反对言论至关重要。作者利用 Reddit 评论创建了一个上下文感知数据集,使用人类判断和神经网络实验结果表明,考虑上下文可以使结果显著提升。
- ACLEmp-RFT:通过识别话语之间的特征转换生成共情回应
提出了一种能够识别对话中特征转换以及实现情感和关键词相关特征的响应生成策略的方法,并在多轮对话中取得显著的性能提升。
- ACL使用歧义语境生成幽默双关语
本文提出了一种简单而有效的方法来生成双关语句子,该方法不需要训练现有双关语。我们的方法受到幽默理论的启发,即歧义来自于上下文而不是双关词本身,我们的模型首先通过反向字典生成与双关词相关概念的列表,然后利用一次性 GPT3 生成上下文单词,最 - Twitter 上自动讽刺检测的调查
本研究探讨了自动检测讽刺的多种方法,包括通过上下文、发布历史和机器学习模型识别,特别是深度学习方法对于使用具有诱导而不是离散特征的模型以及 transformers 创新的好处具有可观的推动作用。
- 通过对比学习和语句图网络建模多层上下文进行信息偏倚检测
本文探讨了如何利用多种不同级别的语境来检测新闻文章中的信息偏见。通过使用对比学习和句子图形以及 GAT 编码三种不同程度的语境,成功地在不同的事件中组成对比三元组和构建句子图形。实验证明,对比学习和句子图形有效地吸收了不同程度的上下文,显著