应用介绍
近年来，有不少工作讨论 Transformers (TRMs) 架构如何高效处理长文本。因为基于全量上文 attention 的 TRMs 有一个很显著的局限：输入长度超过预训练长度一定程度后，perplexity 会飙升，无法生成正常文本。如果只是解决正常生成的问题，一个最简单的思路是滑动窗口注意力，即每个 token 仅关注最邻近的 N 个 token 即可。这种方式可以保证 LLMs 持续生成，但它牺牲了长程信息获取能力。
近年来，有不少工作讨论 Transformers (TRMs) 架构如何高效处理长文本。因为基于全量上文 attention 的 TRMs 有一个很显著的局限：输入长度超过预训练长度一定程度后，perplexity 会飙升，无法生成正常文本。如果只是解决正常生成的问题，一个最简单的思路是滑动窗口注意力，即每个 token 仅关注最邻近的 N 个 token 即可。这种方式可以保证 LLMs 持续生成，但它牺牲了长程信息获取能力。
