- Hyneter：用于目标检测的混合网络变压器
本研究指出 CNN 和 Transformer 检测器之间的本质差别是特征提取和传播中的本地信息和全局依赖之间的差距，为了解决这些差异，我们提出了一种新的远景 Transformer，称为 Hybrid Network Transforme - À-la-carte Prompt Tuning (APT): 组合提示以合并不同数据
使用基于 transformer 的方案进行 prompt 调整，实现任意组合，达到 bespoke models，维护各用户的访问权限和偏好，多次添加或删除相关 prompt 可达到记录更新，实现 Split CIFAR-100 和 CO - AAAI盲审：基于 GPT 的代理人最高法院建模
本文提出使用基于 Transformer 的多代理系统来模拟美国最高法院 2010-2016 年的裁决，并使用九个分别由每个最高法官编写的意见所训练的模型，在 96 个真实案例上测试结果，发现我们的系统以比随机更好的准确度预测了真实最高法院 - 记忆增强型大语言模型是计算通用的
我们展示了通过增加外部记忆来增强变压器型大语言模型以实现计算机普适性的方法。在不修改语言模型权重的情况下，我们将迭代设计被存储的指令计算机以精确模拟通用图灵机 U 15,2，从而证明了这一方法的可行性。
- EMNLP基於 GPT-2 注意力模式的熵和距離預測器，預測閱讀時間超過 GPT-2 驚奇值
本文探讨了 Transformer-based 大型语言模型的自我注意力机制在认知建模领域中的作用，提出了基于熵和距离的预测器，并证明了在使用与 GPT-2 语言模型相关的数据进行回归实验时，距离预测器相较于基于 surprisal 的预测 - OptFormer 实现的自动化超参数多步优化
本文介绍了一种基于 Transformer 的自然语言接口超参数优化方法，通过多步规划来构建非迈向型 HPO 策略。
- 人类运动扩散模型
本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。
- 多语言指代消解共享任务的发现
本文概述了 CRAC 2022 研讨会上多语种共指消解任务的概况，采用公共数据集 CorefUD 1.0 为训练和评估数据，使用 CoNLL 得分作为主要评估指标，并比较了多个系统和竞争基线系统，获胜者系统的表现优于竞争基线 12 个百分点 - ACLT-NER：基于 Transformer 的命名实体识别通用 Python 库
本文介绍了一种基于 Transformer 的 python 库 T-NER，用于命名实体识别的 LM finetuning，并展示了其在跨领域和跨语言泛化方面的研究和应用潜力，同时提供了一个 Web 应用程序，使得非专业编程人员能够与模型 - SATformer: 应用于 SAT 求解的 Transformer
本文提出了 SATformer，一种基于 Transformer 的布尔满足性（SAT）求解方法，实现通过学习不可满足问题实例的最小不满足核（MUC），使用图神经网络得到 CNF 中子句的嵌入表示，采用分层 Transformer 体系结构 - naab: 一份即插即用的波斯语语料库
提供一份 130GB 的 Farsi 語言文本語料庫 naab，它包括 25 億段落和 15 兆個單詞，以及一個用於生成自定義語料庫的預處理器。
- ACL针对基于预训练 Transformer 的多任务主动学习
本文介绍多任务学习和主动学习的结合在 NLP 领域中的应用，提供了一些多任务选择标准，论证了多任务学习的有效性，使得在避免过多的文本标注方面更为高效。
- ACL利用短文本模型高效理解长文本
提出了一种名为 SLED 的机制，通过对输入进行重叠切块、使用预训练过的短文本语言模型编码并在解码器中进行信息融合，从而实现处理长序列的目标，其竞争力与特定任务的大型模型不相上下。
- ECCVSiRi: 一个用于基于 Transformer 的视觉定位的简单选择性微调机制
本文研究如何使用现代视觉语言转换器实现更好的视觉定位，并提出一种简单而强大的选择性重新训练（SiRi）机制。使用 SiRi 可以显着优于以前的方法，在三个受欢迎的基准测试中表现出更好的性能，即使在有限的训练数据下也表现出惊人的优越性。同时， - 自信的自适应语言建模
使用 Confident Adaptive Language Modeling（CALM）动态分配不同量的计算资源，早期退出解码以减少计算，从而在维持高性能的同时最多可提速三倍，理论分析和实验表明其在减少计算方面的有效性。
- AAAIDUET：对比零样学习的跨模态语义基础
本论文提出了一种基于 Transformer 的 DUET 方法，通过自我监督的多模态学习范式，整合了预训练语言模型（PLMs）的潜在语义知识，实现零样本学习并取得了最先进的性能表现。
- 简单有效的多句 TTS 系统，具有表达和连贯的韵律
本文针对长文本合成语音的特殊困难，通过将上下文信息、强大文本特征和多人数据用于 Transformer-based FastSpeech 的简单扩展，改进了合成语音的韵律，其中 BERT 也受益于更多的训练数据。通过客观的停顿和速度指标和全 - 面向内容丰富的文本图像生成的自回归模型扩展
该研究提出了 Pathways Autoregressive Text-to-Image（Parti）模型，它是一个将文本转换为高保真度照片般的图像的模型，并支持包含复杂组合和世界知识的内容丰富的合成。
- ICML从零开始重新审视端到端的语音到文本翻译
本文通过重新审视机器翻译中的 ST 和文本翻译任务技术，提出了一套训练 E2E ST 系统的最佳实践，其中包括参数化距离惩罚、模拟本地化技术等。实验表明，在不使用转录文本和预训练的情况下，该系统可以达到并甚至超过之前使用预训练方法的研究水平 - MMDevFormer: 上下文感知设备部署的对称 Transformer
本文介绍了一种基于 Transformer 的 DevFormer 架构，应用于硬件设计的优化问题中，其通过引入相对位置嵌入和操作置换对称性等强归纳偏差以有效地捕捉硬件上下文，以便使用有限的离线数据实现高效的设计优化，并在去耦合电容器放置问