Blog
Thoughts on tech and research
【Vision Transformer 实战】从 CNN 到 ViT：图像分类 SOTA 之路与完整实现（2026 最新版）
2020 年 Google 提出的 Vision Transformer（ViT）彻底改变了计算机视觉领域。它证明了 Transformer 架构在视觉任务上可以超越传统的 CNN，在 ImageNet 等基准测试上达到 SOTA。本文将从原理到代码，深入讲解 ViT 的架构，并对比 ResNet、EfficientNet、Swin Transformer 等模型。
【深度学习进阶】Transformer 架构深度解析：从零手写 Self-Attention 与完整实现（2026 最新版）
Transformer 是现代深度学习的基石，从 GPT-4、LLaMA 3 到 Vision Transformer，几乎所有 SOTA 模型都基于它。本文将从数学原理出发，**从零手写** Self-Attention、Multi-Head Attention、位置编码，并实现完整的 Transformer，最后对比 2026 年最新的 Flash Attention、RoPE、GQA 等优化技术。适合有一定 PyTorch 基础、想深入理解 Transformer 的读者。
02 | 大模型的"大脑"：Transformer与预训练
**核心问题**：预训练到底在学什么？为什么下一个token预测能产生如此强大的能力？
15 | 终章：通往AGI的路上，Agent扮演什么角色？
**核心问题**：Agent是AGI的必经之路吗？我们离AGI还有多远？
06 | 工具调用：让模型从"说"到"做"
**核心问题**：Function Calling是怎么实现的？模型真的"理解"工具吗？还是只是模式匹配？
11 | 自我改进：Agent能"越用越聪明"吗？
**核心问题**：Reflexion、Voyager这类自我学习机制靠谱吗？Agent真的能从经验中学习吗？
04 | 强化学习核心：从MDP到PPO
**核心问题**：PPO为什么是RLHF的标配？它到底解决了什么问题？
12 | RL for Agents：用强化学习训练Agent
**核心问题**：除了用LLM做Agent的"大脑"，还能怎么用RL训练Agent？
【RAG 实战】从零构建企业级知识库问答系统：向量数据库 + Embedding + LLM 完整指南（2026 最新版）
大模型虽然强大，但存在三个致命问题：知识过时、幻觉严重、无法访问私有数据。RAG（Retrieval-Augmented Generation）通过"先检索后生成"的范式，让 LLM 能够基于实时、准确的私有知识回答问题。本文将从原理到工程实践，手把手构建一个生产级的 RAG 系统。
【PyTorch入门实战】从零构建你的第一个神经网络（2026 最新版，基于 PyTorch 2.7）
本文基于 **PyTorch 2.7.0**（2026 年最新稳定版），从原理到代码，手把手带你构建一个完整的神经网络，涵盖数据加载、模型定义、训练循环、`torch.compile` 编译加速、评估与可视化全流程。适合有一定 Python 基础、想入门深度学习的读者。
05 | Prompt Engineering的科学：不只是"技巧"
**核心问题**：为什么CoT能提升推理能力？背后的原理是什么？什么时候该用什么prompt策略？
14 | 工程实战：构建一个生产级Agent系统
**核心问题**：从Demo到生产，要填多少坑？
08 | 规划能力：让Agent学会"想三步"
**核心问题**：为什么LLM容易"走一步看一步"？如何提升规划能力？
09 | 多智能体系统：1+1>2的可能性
**核心问题**：多个Agent协作，真的比单个强吗？什么情况下多Agent反而更差？
【模型量化与推理加速】从 FP32 到 INT4：GPTQ/AWQ/GGUF 深度解析与 vLLM 部署实战（2026 最新版）
一个 70B 参数的模型，FP16 需要 140GB 显存，普通开发者根本跑不起。模型量化技术可以将显存需求降低 4-8 倍，让消费级显卡（24GB 甚至 16GB）也能运行 70B 模型。本文将深入讲解 GPTQ、AWQ、GGUF 等量化方法的原理，并用 vLLM 实现高性能推理部署。
07 | 记忆系统：Agent的"海马体"
**核心问题**：长对话中模型为什么会"忘事"？怎么解决？RAG到底解决了什么问题？
【大模型微调实战】LoRA/QLoRA 深度解析：8GB 显存微调 7B 参数模型的完整指南（2026 最新版）
全参数微调一个 7B 模型需要 120GB+ 显存，普通开发者根本玩不起。LoRA 通过低秩分解将可训练参数量降低到原来的 0.1%，QLoRA 进一步结合 4-bit 量化，让 8GB 显存的消费级显卡也能微调 7B 大模型。本文将从数学原理到工程实践，手把手带你完成一次完整的大模型微调。
【LLM Agent 开发实战】用 LangChain + Function Calling 构建自主决策智能体（2026 最新版）
大模型虽然强大，但只能"说"不能"做"。LLM Agent 通过让模型调用工具、执行代码、访问外部 API，将"语言智能"转化为"行动能力"。本文将从原理到实战，深入讲解 ReAct、Plan-and-Execute 等 Agent 架构，并用 LangChain 构建一个能自主完成复杂任务的智能体。
01 | 从GPT到Agent：大模型缺了什么？
**核心问题**：GPT-4在律师资格考试中排名前10%，却连"帮我订一张机票"都做不到。这中间到底差了什么？
13 | 评估与可观测性：怎么知道Agent"好不好"？
**核心问题**：Agent的输出不确定，怎么系统性地评估？线上出了问题怎么排查？
【分布式训练深度指南】数据并行、模型并行与 DeepSpeed ZeRO：从原理到生产实战（2026 最新版）
当模型参数量达到 7B、70B 甚至更大时，单卡显存根本装不下。分布式训练不是"可选项"，而是"必选项"。本文将从数学原理到工程实践，深入讲解数据并行、模型并行、DeepSpeed ZeRO、PyTorch FSDP 等核心技术，并提供可直接用于生产的代码模板。
10 | 代码生成Agent：从Copilot到Devin
**核心问题**：代码Agent和普通对话Agent有什么本质区别？为什么SWE-bench这么难？
03 | 让模型"听话"：对齐技术全景
**核心问题**：同一个175B参数的GPT-3，SFT后在人类偏好评估中只有52.2%的胜率，而RLHF后达到85.2%。同样的权重起点，为什么表现天差地别？对齐的本质到底是什么？
Building an AI-Powered Paper Reading Tool
My journey building PaperReader, an AI assistant that reads academic papers with you.