重新设计推理芯片：从 Nvidia GPU 的缺陷到 OpenAI Jalapeño

TL;DR
1. 从 Nvidia GPU 谈起
1.1 推理场景下的理论峰值
1.2 架构决定E2E延迟
1.3 Nvidia GPU 的缺陷
2. 如何设计推理芯片
2.1 推理芯片第一性原理
2.2 推理 Infra 现状
2.2.1 不同阶段的性能需求
2.2.2 KVCache 的代价
2.3 推理芯片体系结构
2.3.1 编程接口的变化
2.3.2 体系结构的取舍
3. OpenAI Jalapeño 芯片架构
3.1 芯片架构 Overview
3.1.1 Core Slice 架构
3.1.2 NOC 架构
3.2 Core Slice架构详解
3.3 内存子系统
3.4 片上网络
3.5 系统架构
4. 软件架构
5. 芯片设计
5.1 关键前提: 先换语言, 再让 AI 上场
5.2 设计如何闭环
6. 未来展望
6.1 对比 Nvidia GPGPU架构
6.2 OpenAI roadmap
6.3 一些分析总结

书库 / 重新设计推理芯片：从 Nvidia GPU 的缺陷到 OpenAI Jalapeño / 阅读

中文版 | 中英双语

加载中...