2020 年 Google 提出的 Vision Transformer（ViT）彻底改变了计算机视觉领域。它证明了 Transformer 架构在视觉任务上可以超越传统的 CNN，在 ImageNet 等基准测试上达到 SOTA。本文将从原理到代码，深入讲解 ViT 的架构，并对比 ResNet、EfficientNet、Swin Transformer 等模型。

TransformerVision Transformer

Jun 29, 202617 min read

【深度学习进阶】Transformer 架构深度解析：从零手写 Self-Attention 与完整实现（2026 最新版）

Transformer 是现代深度学习的基石，从 GPT-4、LLaMA 3 到 Vision Transformer，几乎所有 SOTA 模型都基于它。本文将从数学原理出发，**从零手写** Self-Attention、Multi-Head Attention、位置编码，并实现完整的 Transformer，最后对比 2026 年最新的 Flash Attention、RoPE、GQA 等优化技术。适合有一定 PyTorch 基础、想深入理解 Transformer 的读者。

PyTorchTransformerVision Transformer

Jun 29, 20268 min read

02 | 大模型的"大脑"：Transformer与预训练

**核心问题**：预训练到底在学什么？为什么下一个token预测能产生如此强大的能力？

Transformer