变形解码器(Transformer Decoder)

定义

  • 自回归生成模块,使用带因果掩码的自注意力和与编码器的交互注意力(在 Encoder-Decoder 架构中),典型代表为 GPT 家族。

特点

  • 适合文本生成、续写与对话;与 KV Cache、采样策略紧密相关;在 模型量化 与蒸馏后可用于端侧推理。