AWS 提出 Priming 方法，无需从零预训练即可将 Transformer 改造为混合架构

Amazon Web Services 团队在论文《Priming: Hybrid state space models from pre-trained Transformers》中提出 priming 方法，复用预训练 Transformer 权重构造混合架构，把此类架构的预训练成本降低超过 99%。