变形编码器(Transformer Encoder)

定义

  • Transformer 架构中的编码器堆叠,包含多头自注意力、前馈网络、残差与归一化,擅长全局上下文表征学习。

与解码器对比

  • 编码器:双向上下文、自注意力全连接;
  • 解码器:自回归、带掩码的自注意力与交互注意力(参见 变形解码器)。