01 模型架构
本模块收录具体模型的架构创新与技术拆解——不是”Transformer 是什么”这类通用原理(那在 00_核心概念),而是”某个团队在标准架构上改了什么、为什么改、效果如何”。
目前以 DeepSeek 系列和 Jev 决策型模型为主,是全库较薄的模块之一。这不是遗漏——见下文「本模块与相邻模块的分工」,大部分模型相关内容天然会落到 00(原理)或 03(应用)。
笔记列表
| 笔记 | 讲什么 |
|---|---|
| DeepSeek.md | DeepSeek 的架构与训练创新,低成本高效率是怎么做到的 |
| DeepSeek_Engram条件记忆.md | 2026 年 1 月的 Engram 论文——给大模型外挂一本可查的”字典”,把记忆与推理解耦 |
| 决策型模型Jev与System-One.md | 2026 年 9 月发布的只做判断、不生成文字的模型:并行采样、RLCD 校准训练、Choice / Score / Noul 三原语、官方九条缺陷、评测数据怎么读,附「能不能做自动驾驶决策层」的完整推演 |
本模块与相邻模块的分工
| 内容类型 | 该放哪 |
|---|---|
| 通用架构原理(Transformer、注意力、MoE 概念) | 00_核心概念 |
| 具体模型的架构创新与论文拆解 | 本模块 |
| 模型选型、部署、量化、跑起来 | 03_应用实践 |
| 各家模型的能力/性格横向对比 | 各家LLM模型特点速查 |
判断口诀:讲原理去 00,讲某个模型怎么改的留在 01,讲怎么用/怎么部署去 03。
延伸关联
- Dense与MoE架构对比:读 DeepSeek 的 MoE 设计前建议先看这篇打底。
- Agent记忆体系:Engram 是”模型层的记忆”,Agent 记忆体系是”应用层的记忆”,两者对照读能看清记忆问题在不同层次的解法差异。
维护提示
- 本模块偏薄是结构性的,不是遗漏——大部分模型相关内容天然会落到 00(原理)或 03(应用)。只有当一篇笔记确实在拆解某个模型的架构创新时才放这里。
- 新增候选方向:Qwen / Llama / Kimi 等其他开源模型的架构拆解、模型架构演进的横向对比。
最后更新:2026-09-23