该研究分析自回归语言模型在硬词汇约束下表现不佳的问题，并提出了一种称为 Entity-constrained insertion transformer (ENCONTER) 的新型插入变压器，该变压器在不损失太多生成效率的情况下解决了这个问题。实验结果显示，ENCONTER 在多个性能指标上优于其他基线模型，更适用于实际应用。

Mar, 2021

该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

Jun, 2020

本研究提出插入变换器，是基于插入操作的迭代，部分自回归模型，可在解码期间在序列中的任何位置插入标记，这种灵活性提供了多种性能优势，特别是在 WMT 2014 英德机器翻译任务中表现出色，成功恢复原始 Transformer 的性能，同时只需要对数次迭代即可完成。

Feb, 2019

通过使用指针网络替代原始 GPT 模型的注意力机制，研究发现指针 - GPT 模型在生物医学文本摘要中优于原始 GPT 模型，这对于电子病历系统来说是具有价值的重要补充，可以为临床医生提供更准确、更丰富的病历摘要信息，有可能在电子病历系统中开创一种新的模式并改变临床医生与病历交互方式。

Mar, 2024

我们提出了一种名为 “指向引导的段落排序”（SO）的新型预训练技术，旨在增强大型语言模型中段落级文本表示的上下文理解。该方法利用自注意力驱动的指针网络来恢复被乱序的文本段落的原始顺序，解决了捕捉文档内部结构连贯性和上下文依赖关系的挑战。这种预训练方法通过结合动态采样的微调方法，增加了训练实例的多样性，并提高了各种下游应用中的采样效率。我们在各种数据集上评估了该方法，在需要对科技文献和财务报告领域的连续文本进行分类的任务中，展示了其有效性。我们的实验结果表明，指向引导的预训练显著增强了模型理解复杂文档结构的能力，并在下游分类任务中达到了最先进的性能。

Jun, 2024

提出了 PointGPT 方法来扩展 GPT 模型到点云中进行自回归生成任务的预训练，其通过多个点序列来实现学习潜在的表示，并在各种下游任务中实现了最先进的性能，特别是在 few-shot 学习方面也产生了新的 state-of-the-art 结果。

May, 2023

提出了一种新的树约束指针生成（TCPGen）组件，以神经符号的方式将偏差性词汇列表融入到基于注意的编码器 - 解码器和跨度端到端自动语音识别模型中。在 Librispeech 语料库上进行了训练和评估，实验结果表明，TCPGen 相对于基线方法始终改进了单词错误率（WER），并且特别在偏差性词汇上实现了显著的 WER 降低。TCPGen 处理 5,000 个偏差词和诱饵是非常有效的，只增加了少量的内存使用和计算成本。

Sep, 2021

TEMPO 是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过 20% 至 60% 的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

Oct, 2023

本文提出了一个基于 BERT 和 GPT-2 的框架，通过将缺失句子生成任务拆分成三个方面的处理来解决此问题 —— 语义理解，篇章规划和生成，并在实验证明了我们的模型在学习句子表示和生成缺失句子方面的有效性。

Nov, 2019

本研究通过将全连接层的矩阵替换为相应的张量列车矩阵结构以减少 GPT-2 体系结构的参数数量，并提出了一种可扩展的张量化层，以提高模型效率和最终模型的稳定性。

Jun, 2023