2025-2026 好用新技术全景

这两年前沿模型用的真正好使的技术，按「问题 → 思路 → 关键设计 → 效果 → 谁在用」拆开讲。重点关注 DeepSeek、OpenAI、Gemini、Anthropic、Kimi、GLM、Qwen 的论文。

---

一、推理加速

1.1 DSpark + DeepSpec（投机解码新范式）

来源：DeepSeek + 北京大学，梁文锋署名，2026.06.27（仅 3 天前） 论文：DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation 代码：github.com/deepseek-ai/DeepSpec (MIT 开源)

问题：传统自回归生成每输出一个 token 需要一次完整前向传播，500 字的回复 = 500 次计算，用户感知就是”转圈等待”。

思路：投机解码——小模型快速生成草稿，大模型并行验证。但旧方案有两大痛点：

1. 并行草稿的”后缀衰减”——越往后的字越不靠谱
2. 低置信度 token 也拿去验证——浪费算力

关键设计 1：半自回归生成架构

传统并行草稿 → 每个位置独立猜 → "of problem" 这种四不像 → 尾部接受率断崖

DSpark 的做法：
  Step 1: 并行主干 → 单次前向输出全部基础 logits + 隐藏态（纯并行，速度快）
  Step 2: 轻量串行头 → 默认用 Markov head（极简串行单元）
           为每个位置补充前缀依赖的转移偏置
           修正并行独立生成导致的语义冲突

效果（vs 纯并行 DFlash）：
  平均接受长度 +16%-18%（2 层 DSpark）
  块长 7→15 时，优势从 15% 扩大到 22-30%
  2 层 DSpark > 5 层纯并行 DFlash（局部自回归的效率远高于堆叠并行层）

关键设计 2：置信度调度验证

传统：草稿生成 N 个 token → 全部提交给大模型验证 → 越往后无效 token 越多

DSpark 两层调度：

第一层 — 置信度预判：
  草稿模型上加一个轻量 Confidence Head
  每生成一个候选 token，实时预测其条件接受概率

  配合 STS (Sequential Temperature Scaling) 校准：
    把草稿打分误差从 3-8% 降到 ~1%

第二层 — 硬件感知动态调度：
  低负载 → 自动拉长验证块 → 用满空闲算力 → 跑满单用户速度
  高负载 → 主动裁剪低价值 token → 避免资源争抢 → 稳住系统吞吐
  基于预测试的引擎吞吐曲线做贪心优化

效果（DeepSeek-V4 线上实测）：

同吞吐下绝对提速：
  V4-Flash: 单用户生成速度 +60%-85%
  V4-Pro:   +57%-78%

高 SLA 下容量扩容：
  Flash 120 tok/s 门槛、Pro 50 tok/s 门槛下
  传统基线已接近性能极限 → DSpark 仍能维持可观服务容量

全负载下速度稳定：
  动态调度随并发自动调整 → 不会像静态方案一样突然跳水

DeepSpec 工具链：配套开源的全栈推测解码训练框架，包含数据准备、草稿模型训练、评测代码，可应用于 Qwen/Gemma 等其他开源模型。

为什么好用：不换模型、不加 GPU、不改训练——同一个 V4 模型直接跑，响应速度提升 60-85%。对线上推理服务的成本和用户体验是立竿见影的提升。

谁在用：DeepSeek-V4 线上服务已全量部署。

---

1.2 Speculative Decoding（推测解码基础形态）

来源：Google/DeepMind 2023，持续演进

原理：
  小模型草稿 → 大模型验证 → 接受/拒绝

传统自回归：每步生成 1 token → N 步 → N 次大模型前向
推测解码：  小模型一次生成 K 个候选 → 大模型并行验证
            接受前 m 个 → 1 次大模型前向产生 m 个 token

加速比：2-3×（理论），实际 1.5-2×（取决于草稿模型质量和任务类型）

为什么好用：无损加速，不需要重新训练目标模型。现代推理框架（vLLM、SGLang、TensorRT-LLM）默认开启。

---

1.3 Test-Time Compute Scaling（推理时计算扩展）

来源：OpenAI o1/o3，DeepSeek-R1，2024-2025

核心洞察：推理时多算 10 秒 > 训练时把模型放大 10 倍。

实现方式：
  Chain-of-Thought (CoT)：显式推理链
  Best-of-N sampling：生成 N 条 → 评分 → 选最佳
  Majority Voting：多路径 → 投票
  Verifier + Backtrack：生成 → 验证 → 不行就回溯

Scalability 定律：
  推理算力每翻一倍 → 数学/代码 benchmark 提升 5-15 个百分点

不同实验室的实现差异：

OpenAI o 系列：显式推理链 + Best-of-N
DeepSeek-R1：  RL 训练出推理链自然涌现 ("Wait, let me reconsider...")
Gemini 思考：  模型内部迭代，不输出中间步骤，模型自己决定思考多久
Kimi K2.7：    强制思考模式（关闭反而差），推理 token 消耗降 30%
Claude：        Extended Thinking，用户可设置思考预算
Qwen 3.7 Max： Heavy Mode 自动切换到深度推理

Gemini 3 Deep Think（2026.02）：专门针对科学和工程推理优化的思考变体。Codeforces Elo 3455，HLE 84.6%。思考模式下成本比标准模式降低 280-420 倍（Google 优化了 TPU 推理 pipeline）。

为什么好用：同一个模型，不给它换参数，就给更多推理时间就能明显变强。这改变了「更强 = 更大的模型」的范式。

谁在用：全部前沿实验室（OpenAI o 系列、DeepSeek Think 模式、Gemini Thinking、Claude Extended Thinking、Kimi 强制思考、Qwen Heavy Mode）。

---

1.4 Prefix Caching（前缀缓存）

来源：vLLM，2024；已成标配

原理：多轮对话中 system prompt + 历史消息是重复计算
  → KV Cache 按前缀 hash → 缓存 → 下次直接复用
效果：长 system prompt 或长对话 → 首 token 延迟降 5-10×

谁在用：vLLM、SGLang、TensorRT-LLM 默认开启。

---

二、注意力机制革命

2.1 MLA（Multi-head Latent Attention，多头潜在注意力）

来源：DeepSeek-V2，2024；V3/V4 持续优化；Kimi K2 系列独立实现

问题：KV Cache 是长序列推理的显存瓶颈。传统 MHA 下，每个 head 的 K 和 V 都需要完整缓存：

传统 MHA (LLaMA-70B 为例):
  num_heads = 64, head_dim = 128
  K per token = 64 × 128 = 8192 elements
  V per token = 64 × 128 = 8192 elements
  KV Cache/token = 8192 × 2 × 2 bytes (BF16) = 32 KB

  1M 上下文 → 32 KB × 1,000,000 = 32 GB (仅 KV Cache!)
  这还没算模型参数和激活值

MLA 怎么做：

Step 1: 输入 h_t 经过下投影矩阵 W^DKV → 压缩为 c_t^KV ∈ R^d_c
        其中 d_c << num_heads × head_dim (如 512 << 8192)

Step 2: 推理时只缓存 c_t^KV（而非完整 K 和 V）

Step 3: 计算 Attention 时：
  K = W^UK × c_t^KV  (从压缩态解压)
  V = W^UV × c_t^KV

额外技巧 — 解耦 RoPE：
  MLA 的 Query 和 Key 有额外解耦维度 d_h^R=64
  用于 RoPE 位置编码（压缩态无法直接加旋转编码）
  解耦 Key k_t^R 也需要缓存，但维度很小 (64/token)

KV Cache/token:
  传统 MHA: 32 KB
  MLA:     d_c × 2 bytes + 64 × 2 bytes ≈ 512 × 2 + 128 ≈ 1.1 KB
  → 减少 ~30×

为什么好用：KV Cache 是长序列推理的显存第一杀手，MLA 直接把这个砍到不到 1/30，同时保持注意力质量。这是 DeepSeek 和 Kimi 能做到 128K-1M 长上下文的底层基础。

谁在用：DeepSeek-V2/V3/V4 全系列、Kimi K2 全系列。

---

2.2 CSA + HCA 混合注意力（百万吨级上下文的关键）

来源：DeepSeek-V4，2026.04

问题：即使有 MLA，1M token 的纯注意力计算量 O(n²) 仍然不可行。

CSA (Compressed Sparse Attention)

Step 1: 将 1M token 按固定长度分组（如每组 2048 tokens）
Step 2: 组内做全量注意力 → 保留完整局部语义
Step 3: 跨组用 Lightning Indexer 做 top-k 稀疏选择
        → 只选择最相关的跨组 token 参与注意力
        → 砍掉冗余的远距离无关 token

效果：注意力计算复杂度从 O(n²) 降到 O(n × k)
      k = group_size + top_k × (n/group_size) << n

HCA (Heavily Compressed Attention)

与 CSA 交替穿插使用，每隔几层放一个 HCA 层：

把 m' 个 token（如 128 个）压缩为 1 个压缩向量
→ 极致的压缩：不做稀疏选择，直接压缩到固定体积

适用场景：远距离弱相关 token 的粗粒度关注

交替策略：

Transformer 层的 CSA/HCA 穿插模式：
  Layer 0-1:   CSA（保留局部精细语义）
  Layer 2:     HCA（全局粗粒度关注）
  Layer 3-4:   CSA
  Layer 5:     HCA
  ...

整体效果 (1M 上下文 vs V3.2 dense attention):
  V4-Pro:  单 token FLOPs = 27%, KV Cache = 10%
  V4-Flash: 单 token FLOPs = 10%, KV Cache = 7%

为什么好用：不是靠买更多 GPU，靠算法让同样的 GPU 能处理 10 倍长的上下文。百万 token 从「能跑但不实用」变成「日常标配」。

谁在用：DeepSeek-V4 全系。

---

2.3 DSA / NSA 稀疏注意力

来源：DeepSeek-V3.1/V3.2 (DSA)，2025；DeepSeek NSA 论文，2026 初

DSA (DeepSeek Sparse Attention):
  用 Lightning Indexer 做细粒度 top-k token 选择
  训练和推理阶段都稀疏化
  
  核心：不是"先算全量再丢掉不重要的"
        是"不重要的从一开始就别算"

NSA (Native Sparse Attention):
  将稀疏性原生集成到注意力算子中
  分块压缩 + 分块选择 + 滑动窗口三合一
  在训练时端到端学习稀疏模式

V4 的 DSA2 = DSA + NSA 融合：
  两种稀疏注意力方案融合，长上下文效率达到新高度

效果对比：DeepSeek-V3.2-Exp 搭载 DSA 后，训练和推理效率显著提升，尤其在 128K 以上的长上下文任务上。

谁在用：DeepSeek-V3.2+、V4 全系。

---

2.4 FlashAttention 4

来源：Tri Dao / Princeton，2026

核心升级：
  - 针对 Blackwell GPU 重新设计流水线
  - 在 Blackwell 上注意力速度 ≈ 矩阵乘法速度
  - 突破历史上注意力比 MatMul 慢 3-5× 的瓶颈

Blackwell 特殊优化：
  FP4 Tensor Core 路径
  新的 SM 架构下的 shared memory 分配策略

为什么好用：「用更多 Attention」不再比「用更大 FFN」贵。架构设计自由度大增。

谁在用：PyTorch 生态全局。

---

2.5 GQA / MQA（分组 / 多查询注意力）

来源：LLaMA-2，2023；已成行业标配

传统 MHA: Q heads = K heads = V heads → KV Cache × num_heads
GQA:      K/V heads 数 < Q heads 数 → 分组共享
  LLaMA-2 70B: 64 Q heads, 8 KV heads → KV Cache 省 8×
  LLaMA-3 405B: 128 Q heads, 8 KV heads → KV Cache 省 16×

MQA:      K/V heads 数 = 1 → KV Cache 省到极限
  代价：注意力质量略有下降

谁在用：所有现代开源模型（LLaMA-3、Qwen3、GLM-5 等）。

---

2.6 Ring Attention

来源：UC Berkeley，2023；持续改进

问题：单 GPU KV Cache 放不下长序列
方案：Q、K、V 沿序列维度切分到多 GPU
      环形通信轮流传递 KV 块
      每 GPU 轮流计算自己的那部分 Attention

效果：N 张 GPU → KV Cache 容量 ×N

谁在用：Google Gemini 的 2M 上下文、长上下文 LoRA 训练。

---

三、训练技术突破

3.1 GRPO（Group Relative Policy Optimization）

来源：DeepSeek-R1，2025.01 论文：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

问题：传统 PPO 做 RLHF 需要同时加载 4 个模型 → 显存爆炸。

PPO 需要的 4 个模型：
  1. Policy Model (被训练的模型)
  2. Reference Model (防止偏离太远的锚点)
  3. Reward Model (打分)
  4. Critic/Value Model (估计状态价值) ← 这个和 Policy 一样大！

总显存 ≈ 4 × 模型大小
训练 LLaMA-70B 的 PPO：
  4 × 140 GB = 560 GB ← 需要 7 张 H100 只是装模型！

GRPO 怎么做：

干掉 Critic 模型！

对每个 prompt，生成一组 G 个输出（如 G=4）：
  {output_1, output_2, output_3, output_4}

对每个 output 用 Reward Model 打分：
  {r_1, r_2, r_3, r_4}

GRPO 更新规则：
  优势值 A_i = (r_i - mean(r)) / std(r)
  → 组内相对好坏决定更新方向和步长
  → 不需要估计绝对价值，只需要知道「这一个比平均值好多少」

KL 散度约束：
  Policy 不能偏离 Reference 太远
  max(0, ratio × A_i - β × KL(policy||ref))

效果：

显存：GRPO = 2× 模型（Policy + Reference）= PPO 的 50%
GPU 需求：LLaMA-70B RL 训练从 7 卡 H100 降到 3-4 卡

数学推理 benchmark：
  DeepSeek-R1-Zero（纯 GRPO，无 SFT）：AIME 2024 pass@1 = 71.0% → 86.7%
  DeepSeek-R1（GRPO + 冷启动 SFT）：AIME 2024 pass@1 = 79.8%

为什么好用：RLHF 最大的工程痛点是显存。GRPO 砍掉一半，意味着同样的 GPU 可以做更大的 RL 训练，或者同样的模型用更少的卡。

谁在用：DeepSeek-R1、DeepSeek-V4 后训练、Kimi K2.7 推理增强、业界逐渐从 PPO 迁移。

---

3.2 Muon 优化器 + MuonClip

来源：Keller Jordan (Muon)，2024；Kimi K2 (MuonClip)，2025.06；DeepSeek-V4 (Hybrid Newton-Schulz)，2026.04

问题：AdamW 对每个参数独立调学习率，忽略了参数的「矩阵结构」。

AdamW 状态：
  每个参数维护 m (一阶矩) 和 v (二阶矩)
  参数量 Φ → 优化器状态 8Φ bytes (FP32 m + v)
  LLaMA-70B: 70B × 8 = 560 GB 只需优化器！

AdamW 的学习率是「逐元素」的：
  weight[i][j] 有自己的 lr → 但 weight 的矩阵结构信息被忽略了

Muon 怎么做的：

对矩阵参数做特征值修正（Newton-Schulz 迭代）：
  1. 把梯度 reshape 成矩阵
  2. 用 Newton-Schulz 迭代逼近梯度的"正交化"版本
     本质：让梯度矩阵的奇异值都接近 1
     意义：所有方向的学习率一致 → 更好的收敛

  3. 不需要维护逐元素的 m 和 v → 优化器状态远小于 AdamW

DeepSeek V4 的 Hybrid Newton-Schulz：
  10 步两段式迭代
  前 8 步：快收敛（用较大的步长）
  后 2 步：精确钉死奇异值到 ≈1

Kimi K2 的 MuonClip：
  首次扩展到 1T 参数验证可行性
  Weight 矩阵层 → Muon（矩阵修正）
  Bias/Embedding 层 → AdamW（逐元素）
  Clip 机制：梯度范数超过阈值 → 缩放 → 防止训练不稳定
  
  15.5T tokens 全预训练 → 零训练不稳定

为什么好用：对大矩阵参数（QKV 投影、FFN 权重）收敛速度明显快于 AdamW。训练同样的 loss 需要更少的 step。

谁在用：Kimi K2 全系列（首个万亿级验证）、DeepSeek-V4。

---

3.3 FP8 / FP4 量化感知训练 (QAT)

来源：DeepSeek 系列，2025-2026

FP8 训练 (DeepSeek-V3，2024.12):
  首次在 671B 规模验证 FP8 训练可行

  精度分配：
    核心 GEMM (Fprop/Dgrad/Wgrad) → FP8 E4M3
    Embedding / Attention / Norm / MoE Gate → BF16
    主权重 / 优化器状态 → FP32 存储
    优化器一阶/二阶矩 → BF16（进一步省）

  精细量化策略：
    Activation：按 1×128 tile 分组（每 token 每 128 通道一个 scale）
    Weight：按 128×128 block 分组
    在线量化：不提前算 scale，实时计算每个 tile 的最大绝对值

  精度保护：
    每 N_C=128 个 MMA 元素 → 提升到 FP32 全精度累积
    相对误差 < 0.25%

  额外收益：
    MoE 通信前把 activation 量化到 FP8 → 通信量减半
    FP8 格式缓存激活值 → 训练显存省 50%

FP4 QAT (DeepSeek-V4 完整报告，2026.06):
  首次在前沿规模 MoE 模型验证 FP4 训练
  比 FP8 再省 50% 显存和通信
  NVIDIA 后续推出 NVFP4 格式做 Blackwell 硬件支持

为什么好用：每一代精度升级直接省 50% 显存和通信。V3 用 FP8 在 2048 张 H800 上不到两个月训完 671B 模型，如果换 FP16/BF16 可能需要翻倍的 GPU。

谁在用：DeepSeek 全系列。NVIDIA 已把 FP4 做进 Blackwell 硬件支持。

---

3.4 DualPipe 流水线并行

来源：DeepSeek-V3，2024.12

问题：流水线并行有空泡时间——上一个 stage 没算完，下一个 stage 只能等。

传统 1F1B:
  GPU 0: F0 → B0 → F1 → B1 → ...
  GPU 1:       → F0 → B0 → F1 → B1 → ...
                ↑ 第一次要等 GPU 0 算完 F0

  Bubble = (PP-1)(F+B)  其中 F/B 是前向/反向时间
  PP=16 时 Bubble ≈ 15×(F+B) → GPU 大量空转

DualPipe:
  从流水线两端同时注入 microbatch
  
  GPU 0: F0 → B0 → F2 → B2 → ...
  GPU 15:       ← F1 ← B1 ← F3 ← B3 ...
                 ↑ 两头同时往里喂
  
  Bubble = (PP/2-1)(F&B+B-3W)  ← 约为 1F1B 的一半
  PP=16 时 Bubble 从 ~25% 降到 ~12%

代价：
  参数显存 ×2（两端都有完整拷贝）
  但 DeepSeek 认为这个交易值——显存可以加 GPU，气泡永远在那里

谁在用：DeepSeek-V3。

---

3.5 Auxiliary-Loss-Free 负载均衡

来源：DeepSeek-V3，2024.12

问题：MoE 训练需要保证专家均衡使用，但传统的辅助损失方案在性能和均衡间做取舍。

传统方案：
  Loss = LM_Loss + λ × Balance_Loss
  λ 大 → 均衡好、模型性能差
  λ 小 → 模型好、专家不均衡 → Token 丢弃 → 训练浪费

DeepSeek 方案：
  每个专家加一个偏置 b_i（初始为 0）
  路由 = TopK(score_i + b_i)  ← 偏置影响路由
  门控值 = sigmoid(score_i)     ← 但门控值用原始分数（不影响训练信号）

  每步动态调整：
    过载专家 → b_i -= γ（0.001）→ 降温
    欠载专家 → b_i += γ（0.001）→ 加热

  前 14.3T tokens: γ=0.001，最后 500B: γ=0（固定住）

补充：极小的序列级辅助损失 (α=0.0001)
  防止单个序列内部极端不均衡

效果：零 Token 丢弃，零性能损失，专家自动均衡

谁在用：DeepSeek-V3/V4。

---

3.6 Multi-Token Prediction (MTP)

来源：DeepSeek-V3，2024.12

传统：每位置只预测 1 个 token → 训练信号密度 = 1/位置
MTP： 每位置预测 1+D 个未来 token → 训练信号密度 = (1+D)/位置

V3 配置：D=1（当前位置额外预测下一个位置）

MTP 模块结构（可与主模型共享 Embedding 和 Output Head）：
  h'_k = TRM_k(concat(h_k, Emb(t_k)))
  输出 = OutHead(h'_k)
  
  TRM_k 是 MTP 专用的轻量 Transformer 块
  训练完直接丢弃，推理不受影响

训练：
  前 10T tokens: λ=0.3
  后 4.8T tokens: λ=0.1（逐渐降低 MTP 权重）

消融实验：在 15.7B 和 228.7B 两个规模上，MTP 持续提升模型性能

为什么好用：同样数据量，训练信号翻倍。数据效率提升 = 减少训练 token 量或提升同等训练下的模型质量。

谁在用：DeepSeek-V3。

---

3.7 Anticipatory Routing + SwiGLU Clamping

来源：DeepSeek-V4，2026.04

Anticipatory Routing:
  训练时动态预测 token 的专家激活分布
  不是等梯度传回来才调路由，而是在前向时就预判

SwiGLU Clamping:
  对 SwiGLU 激活值做钳位（clamp 到固定范围）
  防止个别激活值爆炸 → 梯度爆炸 → loss spike
  1.6T 参数从头训练 → 压住不稳定最大来源之一

为什么好用：大规模 MoE 训练最怕 loss spike。两个技术从根上压住不稳定，让 1.6T 模型从头训不崩。

谁在用：DeepSeek-V4。

---

3.8 On-Policy Distillation (OPD)

来源：DeepSeek-V4，2026.04

问题：传统后训练各能力独立训练 → 混合 → 跷跷板效应（代码上去了推理就掉）。

OPD 方案：

Phase 1: 训练领域专家
  10+ 个教师模型，各自在专门领域做到极致
  数学教师、代码教师、推理教师、知识教师...

Phase 2: 统一蒸馏
  在学生模型上做 reverse KL 蒸馏
  目标：minimize Σ KL(student || teacher_i) × w_i
  
  reverse KL：学生分布覆盖教师分布
  好处：学生不会只模仿某一个教师，而是综合所有教师的知识

Phase 3: 多目标平衡
  w_i 权重动态调整
  防止「代码提升但推理下降」的跷跷板

整体替掉了 V3 时代的混合 RL 方案（V3 每个能力独立 RL 训练后拼接）

谁在用：DeepSeek-V4。

---

四、MoE 架构优化

4.1 DeepSeekMoE（细粒度专家 + 共享专家）

来源：DeepSeek-V2，2024

传统 MoE (Mixtral):  8 个专家，每个巨大
DeepSeekMoE:         256-384 个专家，每个较小
                     + 1 个共享专家（总是激活）

细粒度专家的好处：
  更多的专家 → 更精细的知识分工
  每个 token 激活 6-8 个 → 组合更灵活
  知识冗余更少 → 同等总参数下效果更好

共享专家的作用：
  捕获通用知识（语法、常识）
  路由专家专注于特定领域 → 减少冗余

4.2 MegaMoE 通信隐藏

来源：DeepSeek-V4，2026.04

问题：384 个专家的 All-to-All 通信是 MoE 最大性能杀手

MegaMoE 方案：
  把专家矩阵切成多个 wave
  算第 k 个 wave 时 → 后台异步通信第 k+1 个 wave
  计算完成时 = 通信也完成 → 通信完全藏在计算下面

硬件协设建议：
  保证 compute/bandwidth ratio ≤ 6144 FLOPs/Byte
  低于这个值 → 通信是瓶颈 → GPU 算力浪费

同时：
  warp specialization 动态分配 SM 给通信任务
  仅用 20 个 SM 即充分利用 IB 和 NVLink 带宽

4.3 Node-Limited Routing

来源：DeepSeek-V3，2024.12

问题：384 专家分布在数十节点 → 每 token 8 专家可能跨 8 节点 → 通信爆炸

方案：每 token 最多路由到 4 个节点
  即使 TopK 选了 8 个专家跨 5+ 节点 → 只保留前 4 个节点内的专家

---

五、后训练技术

5.1 R1 四阶段 RL 训练

来源：DeepSeek-R1，2025.01

Stage 1 — 冷启动 SFT：
  用数千条高质量 CoT 数据做监督微调
  给模型一个「如何思考」的初始方向

Stage 2 — 推理 RL (GRPO)：
  数学/代码/逻辑场景的 RL
  奖励信号：答案正确性 + 格式合规
  推理链自然涌现（不是模板！）

Stage 3 — 拒绝采样 + SFT：
  用 Stage 2 的最佳输出作为训练数据
  跨领域采样（写作、问答、翻译等）
  用更大的模型（DeepSeek-V3）做拒绝采样

Stage 4 — 全场景 RLHF：
  所有场景的 RL（有用性 + 无害性）
  同时保持推理能力

关键发现：R1-Zero（纯 RL 无 SFT）就涌现了推理能力——模型自己学会了说 “Wait, let me reconsider…”。这证明推理能力可以通过 RL 激励出来，不需要人工标注推理步骤。

---

5.2 Constitutional AI 2.0

来源：Anthropic，2026.01

从 2700 字扩展到 84 页 23000 字

不是规则过滤，是深层推理式对齐：
  模型学会「为什么」而不是「什么不行」

四大原则：
  广泛安全 (Broad Safety)
  广泛伦理 (Broad Ethics)
  真正有用 (Truly Helpful)
  合规 (Compliance)

RLAIF (Reinforcement Learning from AI Feedback):
  用 AI 生成的反馈替代人类标注
  → 可扩展的对齐方案
  → 已做成 CC0 公开协议

---

5.3 MCP 工具调用

来源：Anthropic 协议推动；Kimi K2.7 实现，2026.06

Kimi K2.7 Code:
  MCP (Model Context Protocol) 工具调用能力暴涨 8×
  模型自主选择开发工具完成多步骤任务
  从「代码补全」变成「自主软件工程」

Claude Fable 5:
  Claude Code 内集成完整工具调用链
  Stripe 5000 万行代码一天迁移的案例

---

六、Qwen 3.7 Max：Agentic 长程自主

来源：阿里巴巴，2026.05.20

35 小时全自主运行（业界最长）：
  单次指令 → 独立规划 → 自主执行 → 动态反思 → 持续优化
  完全无人干预完成长周期任务

Heavy Mode：
  模型自动判断任务复杂度
  简单 → 即时响应
  复杂 → 自动切换到深度推理模式
  动态分配算力

Arena 盲测：中国第一、全球 top-10
SWE-bench: 72.3%
GPQA Diamond: 92.4%

---

七、综合技术选型指南

你是做训练的：
  ✅ FP8 训练已成标配 → DeepSeek 已证明
  ✅ FP4 QAT 是下一跳 → DeepSeek V4 验证可行
  ✅ GRPO 替代 PPO → 省一半显存做 RL
  ✅ Muon 值得试 → 比 AdamW 收敛快
  ✅ 如果训 MoE → Aux-Loss-Free + Node-Limited Routing
  ✅ 如果训大模型 → DualPipe 减少气泡
  ✅ 如果做后训练 → OPD 替代混合 RL

你是做推理加速的：
  ✅ DSpark → 刚开源 3 天，不提速 60-85%
  ✅ MLA + GQA → KV Cache 省 16-30×
  ✅ FlashAttention 4 → Blackwell 上注意力 = MatMul 速度
  ✅ Speculative Decoding → 2-3× 加速
  ✅ Prefix Caching → 多轮对话必备

你是做长上下文推理的：
  ✅ CSA+HCA → 百万 token 标配（FLOPs 降到 10-27%）
  ✅ Ring Attention → N GPU = N× 上下文容量
  ✅ MLA → KV Cache 不崩的基础

你是做 Agent 的：
  ✅ Test-Time Compute Scaling → 多推理时间 = 更强
  ✅ MCP 工具调用 → 自主使用工具链
  ✅ 长会话持久记忆 → Fable 5 验证有效
  ✅ 检查点 + 恢复 → 长周期任务必备

你是做 GPU 集群运维的：
  ✅ MoE + All-to-All → 需要 RDMA (MegaMoE 的 6144 FLOPs/Byte 建议)
  ✅ 百万上下文 → KV Cache 优化是硬需求
  ✅ GRPO/RL 训练 → 需要支持多模型并行加载
  ✅ FP4 QAT → 需要 Blackwell/H100 级别 Tensor Core
  ✅ DSpark 部署 → 草稿模型 + 主模型共存的显存管理

---

关联知识

• 2025-2026 前沿模型技术解析 — 这些技术用在了哪些模型上
• 大模型架构对比 — 基础架构背景
• 显存计算详解 — 技术如何影响显存
• 混合精度训练 — FP16/BF16/FP8/FP4 底层
• Transformer 架构基础 — MLA/CSA/HCA 的 Transformer 基础
• ../gpu-cluster-ops/GPU 集群运维知识总览 — 集群怎么跑这些技术

参考资源

• DeepSeek-V3 Technical Report
• DeepSeek-R1 Paper
• DeepSeek-V4 Technical Report (58 pages)
• DSpark Paper (2026.06.27, 梁文锋署名)
• DeepSpec GitHub
• Muon Optimizer
• FlashAttention 4
• MCP Protocol
• Gemini 3 Model Card

学习时间

阶段	时间	备注
初版	2026-06-30	六大类 15+ 项技术梳理
大幅扩充	2026-06-30	补充 DSpark/DeepSpec/GRPO 底层公式/Muon NS 迭代/Qwen agentic 等细节

状态标记

📖 已掌握 — 注意力革命（MLA/CSA+HCA/DSA/GQA）、训练技术（GRPO/Muon/FP4/DualPipe/OPD）、推理加速（DSpark/SpecDec/TTC Scaling）、MoE 优化（MegaMoE/DeepSeekMoE） 📝 待补充 — GPT-5.6 完整技术报告、Gemini 4.0 架构细节、各技术跨模型 benchmark 对比