DeepInfer 硬件：今日 SM100 与昇腾 950
支持矩阵、基准拓扑、未支持 SKU 的社区 RFC，以及服务缺口——均链接上游。Prefill 与 Decode 是同一引擎的两个阶段。
今日支持矩阵
仅依据 官方 README。SKU 不在列表中就不要强行编译。
| 加速器 | 厂商 | 工具链 | 环境变量 | 状态 |
|---|---|---|---|---|
| SM100 GPU | NVIDIA | CUDA 13 | DEEPINFER_ACCELERATOR=nvidia | 已支持 |
| Ascend 950 NPU | 华为 | CANN 9.2 | DEEPINFER_ACCELERATOR=ascend | 已支持 |
| Ascend 910C / A3 | 华为 | CANN 9.1（提案） | — | 仅草稿 RFC · #46 |
| SM90 / H20-3E | NVIDIA | — | — | 仅草稿 RFC · #47 |
- Linux · GCC ≥ 13.0 · Python 3.12
- 模型：DeepSeek-V4.1-Flash · 默认权重
deepseek-ai/DeepSeek-V4.1-Flash-1017
基准拓扑（同一引擎）
README 性能图：在 4× SM100 测 Prefill、64× SM100 测 Decode——各自在一个 scale-up 域内。复现见 examples/sweep/run_sweep.sh。Prefill ≠ 独立产品。
| 阶段 | 拓扑（README） | 测什么 |
|---|---|---|
| Prefill | 4× SM100 · 单一 scale-up 域 | 非缓存输入吞吐 vs 延迟 |
| Decode | 64× SM100 · 单一 scale-up 域 | 输出吞吐 vs 每用户速度 |
社区 RFC — 今日尚不支持
仅为草稿 RFC。不要声称 910C、SM90 或 H20 已支持。实现尚未合入；请跟踪 PR。
| RFC | 目标 | 范围 / 阻塞（摘自 PR） | 链接 |
|---|---|---|---|
| #46 | 昇腾 910C / A3 | 单机离线优先；V4.1-Flash W8A8 + CANN 9.1；在线服务为后续阶段。今日文档路径仍是 950 + CANN 9.2。 | PR #46 |
| #47 | SM90 · 4× H20-3E（141 GB） | 原生 FP4 权重容量约 499 GB / 564 GB；需 dequant-fused FP8 grouped GEMM（SM90 无 FP4 tensor core）；Hopper 注意力 — FlashMLA 于 2026.09.30 移除 Hopper。 | PR #47 |
服务缺口（开源发行）
README 列出完整推理服务仍缺的部分——未包含在本次开源中：
| 缺失 | 为何重要 |
|---|---|
| KV cache 系统 | 在线多轮 / 高 QPS 复用 |
| VE / Prefill / Decode 分离 | 引擎侧多数能力已有；完整服务胶水未开源 |
| DP 负载均衡 | prefill 与 decode 副本均衡 |
跳过清单
- 既无 SM100 也无 Ascend 950 → 跳过安装；关注 RFC 或用托管 API
- 托管 Chat Completions 已够用 → 跳过自建
- 需要智能体 → DeepSeek Harness · dshbase.com
- 只需协议 / 提示词 → deepseek-recipe
- 今日就要完整在线 KV + PD 服务 → OSS 未交付该栈