- 解离逻辑:大型语言模型推理能力中的上下文作用
通过调查来自一系列领域中的抽象和上下文逻辑问题的对比,本研究旨在系统地分离纯逻辑推理和文本理解。我们探讨当基础逻辑结构保持不变时,LLMs 在各个领域中是否展示出真正的推理能力。
- 大型语言模型修剪
本研究提出了一种针对 LLMs 的模型修剪技术,强调深度学习模型的可解释性,并通过互信息估计和调参来指导修剪过程。同时,还探讨了大规模模型和小规模模型的修剪差异,并展示了所提出模型相对于现有模型的优越性。
- 大型语言模型对词汇的字符组成缺乏理解
该研究论文通过分析现代大型语言模型对字组成的理解能力,并与词级性能进行比较,展示了大多数大型语言模型无法可靠地完成甚至是人类能够完美处理的简单任务,进而讨论了未来研究的潜在方向。
- 基于 Transformer 模型的智能电子商务推荐的文本理解与生成
Transformer 结构预训练模型在电子商务领域的核心应用场景包括但不限于产品描述的自动生成、用户评论的情感分析、个性化推荐系统的构建和客服对话的自动处理。本研究通过对模型的工作原理、实施过程和具体案例中的应用效果进行详细分析,强调了预 - 序列重要性:构建对话代理的生成 - 检索 - 生成模型
TREC iKAT 2023 挑战中,本文使用 Generate-Retrieve-Generate 方法,利用大型语言模型(LLMs)进行答案生成与理解,通过 BM25 进行答案连贯性过滤,实现更高的性能表现。
- Mobile-Env:一种通用的移动交互训练和评估平台
本研究介绍了一个针对信息用户界面交互(InfoUI)的新平台 Mobile-Env,基于该平台构建了一个任务集并通过一个基于大规模语言模型(LLM)的代理进行了实验,结果表明 LLM 在文本理解和匹配方面具有很大的潜力,同时揭示了需要更好的 - 将 AI 规划与自然语言处理相结合:明示和隐示知识的结合
本文介绍了人工智能规划和自然语言处理之间的相互作用,讨论了四个领域:基于规划的文本理解、基于规划的文本生成、基于文本的人机交互和基于文本的可解释规划,并探讨了一些潜在的未来问题。
- Fastformer:加性注意力足矣
本文介绍了 Fastformer 模型,这是一种基于加法注意力的高效 Transformer 模型,与现有的 Transformer 模型相比,它可以更有效地建模长文本,并且具有线性复杂度。
- AAAI科技文档理解中的缩略语识别和消歧共享任务
本文回顾了两个针对科学文献中缩略语识别和消歧的共享任务以及各自的参与系统。
- EMNLP阅读说明书:事件提取即定义理解
该研究旨在验证文本理解是否已经发展到可以通过注释手册衍生出精炼的陈述来提取事件信息的程度,通过引入一个采用这种陈述的模型示例,实验表明我们可以在封闭本体中提取事件,并通过阅读新的定义来概括未见过的事件类型。
- 机器阅读理解:文献综述
本文总结了机器阅读理解的最新进展,在语料库和技术两个方面进行了重点介绍和比较,详细描述了不同 MRC 语料库的特点以及一些典型 MRC 技术的主要思想。
- 文本理解中有效的子词分割
通过利用子词增强嵌入式框架,本文介绍了一种学习和合成计算产生的子词级别表示的新方法,经过在英文和汉语测试基准上的各种文本理解任务中的实验测试,发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。
- 通过核心实体显著性建模实现更好的文本理解和检索
本文提出一种核实体显著性模型(KESM),通过更好地估计文档中实体的显著性(重要性),提高文本理解和检索。KESM 通过知识增强的分布式表示来表示实体,通过核函数建模实体和单词之间的交互,并结合核分数来估计实体显著性。该模型的整个过程都是通 - AAAI基于断言的问答系统与面向问题的开放式信息抽取方法
本文介绍了一种基于断言的问答(ABQA)任务,旨在回答问题而不是生成短答案,并提出了一种新的手动注释的数据集(WebAssertions)。我们采用生成和抽取两种方法来解决 ABQA,并将其应用于基于预测和排名的 QA 任务中,实验结果表明 - ACL构建跨文档多跳阅读理解数据集
该研究提出了一项新的任务,以鼓励模型跨多个文档进行文本理解并探究现有方法的限制。 该任务要求模型学习查找和组合证据,从而实现多跳(别名为多步)推理,但两个先前的竞争性模型都在选择相关信息方面遇到了困难。
- 将剧本事件与叙述文本对齐
本文介绍了如何利用丰富的语言表示以及时间排序的信息,将叙述文本中的事件提及映射到脚本事件类型,结果表明该复杂任务确实可行。
- 宽泛上下文语言建模作为阅读理解
该研究探讨了基于神经网络的阅读理解模型在语料库预测任务上的应用,并分析了其在不同情景下的表现情况。
- ACLLAMBADA 数据集:需要广泛语篇背景下的词语预测
介绍了 LAMBADA 数据集用于通过单词预测任务评估计算模型的文本理解能力,该数据集要求模型具备更广泛语义的理解能力,该数据集包含了很多语言现象,现有的语言模型在该数据集上的准确率均未能达到 1%。
- 从零开始的文本理解
文章说明了我们可以应用深度学习来理解文本,从字符级到抽象文本概念,使用时间卷积网络 (ConvNets)。我们将 ConvNets 应用于各种大规模数据集,包括本体分类,情感分析和文本分类。我们展示了时间 ConvNets 可以在不需要任何 - 联合视频和文本解析:理解事件和回答查询
本文提出了一种视频和文本联合解析的框架,通过使用基于空间、时间和因果关系的 And-Or 图对视频和文本的信息进行深层语义解析,旨在推动生成叙述性文本描述和问答等应用。其中,视频解析、文本解析和联合推理三个模块组成了该联合解析系统,通过匹配