大规模预训练方案
以高带宽训练卡配合节点间互联交换,面向参数规模较大的预训练任务,强调卡间通信效率与显存容量。
统一口径整理算力、显存、互联带宽与功耗等公开指标,可按场景标签快速筛选。
| 方案名称 | 场景定位 | 算力口径 | 显存容量 | 显存带宽 | 互联带宽 | 整机功耗 | 封装形态 |
|---|---|---|---|---|---|---|---|
| 星驰 T8 训练卡训练加速单元 | 训练 | 989 TFLOPS | 80 GB HBM | 3.35 TB/s | 600 GB/s | 700 W | 单卡 |
| 星驰 T8 Pro 训练卡高带宽训练加速单元 | 训练 | 1.2 PFLOPS | 96 GB HBM | 3.9 TB/s | 900 GB/s | 800 W | 单卡 |
| 星驰 I4 推理卡低功耗推理加速单元 | 推理 | 312 TFLOPS | 48 GB HBM | 1.6 TB/s | 300 GB/s | 350 W | 单卡 |
| 星驰 I4 Lite 推理卡边缘推理加速单元 | 推理 | 168 TFLOPS | 32 GB HBM | 1.1 TB/s | 200 GB/s | 180 W | 单卡 |
| 星驰 M6 训推一体卡训推共用加速单元 | 训推一体 | 720 TFLOPS | 64 GB HBM | 2.6 TB/s | 500 GB/s | 520 W | 单卡 |
| 曜石 X8 训练整机8 卡训练节点 | 训练 | 7.9 PFLOPS | 640 GB HBM | 26.8 TB/s | 3.2 TB/s | 6.4 kW | 整机 |
| 曜石 X16 训练整机16 卡高密训练节点 | 训练 | 16.4 PFLOPS | 1.28 TB HBM | 52.4 TB/s | 6.4 TB/s | 12.6 kW | 整机 |
| 曜石 R4 推理整机4 卡推理节点 | 推理 | 1.25 PFLOPS | 192 GB HBM | 6.4 TB/s | 1.2 TB/s | 1.6 kW | 整机 |
| 曜石 R8 推理整机8 卡高吞吐推理节点 | 推理 | 2.5 PFLOPS | 384 GB HBM | 12.8 TB/s | 2.4 TB/s | 3.1 kW | 整机 |
| 曜石 C64 机柜级集群64 卡互联机柜 | 训推一体 | 62.4 PFLOPS | 5.12 TB HBM | 209 TB/s | 25.6 TB/s | 48 kW | 机柜级 |
| 曜石 C128 机柜级集群128 卡全互联机柜 | 训推一体 | 128 PFLOPS | 10.24 TB HBM | 418 TB/s | 51.2 TB/s | 96 kW | 机柜级 |
| 云枢 100G 交换模块节点间互联交换单元 | 训练 | — | — | — | 3.2 TB/s | 0.9 kW | 整机 |
表格指标按公开规格统一换算口径整理,不同厂商的标称条件可能不同,横向对比时建议结合互联带宽与整机功耗一并阅读。
从单卡到机柜级,按训练与推理两类负载给出可对照的方案组合与关键指标。
以高带宽训练卡配合节点间互联交换,面向参数规模较大的预训练任务,强调卡间通信效率与显存容量。
以低功耗推理卡组成整机节点,兼顾显存容量与每瓦吞吐,适合在线服务的并发请求处理。
以机柜级全互联拓扑统一训练与推理资源池,减少资源切换成本,适合算力需求波动较大的团队。
同一款芯片在两类场景下的关注维度并不相同,下面按场景拆解需要优先对比的参数。
训练任务的瓶颈通常出现在梯度同步与显存容量上,对比时应优先看互联带宽与显存带宽。
推理任务更看重单位功耗下的吞吐表现,显存容量与访存带宽决定单机能承载的并发量。
互联方案决定算力能否被有效聚合,三级拓扑的带宽配比需要与任务通信模式匹配。
封装形态影响交付周期、供电规划与后续扩容方式,需要结合机房条件一并评估。
把零散的规格数字整理成可横向比较的口径,减少选型时的信息差。
先明确是训练还是推理,以及单节点规模与集群规模的目标区间。
把算力、显存、带宽与功耗按同一精度与单位换算,避免口径混用。
把候选方案逐行填入结构化表格,按场景标签筛选出可比项。
最后用互联带宽与整机功耗复核,确认方案与机房条件匹配。
近期读者关注较多的规格解读与方案说明。
围绕芯片规格、互联拓扑与参数筛选方法持续整理的解读内容。
面向训练与推理两类负载,梳理公开芯片规格中算力、显存带宽、互联拓扑与能效指标的差异,给出结构化对比与筛选维度,帮助读者在人人体育产品与方案栏目中横向理解方案取舍。
从单机多卡到跨机集群,梳理训练与推理场景下常见的八类芯片互联拓扑,结合公开规格整理对比维度,帮助读者在人人体育产品与方案栏目里快速看懂带宽、时延与扩展能力的差异。
从显存带宽、封装形式与容量配置切入,盘点端侧与云端推理芯片公开规格的差异,结合结构化对比视图说明筛选要点,帮助读者在人人体育产品与方案栏目中理解两条路线的取舍。
通过一位封装产线工艺主管的口述,还原先进封装从后道工序走向架构核心的历程,梳理工种分工的变化、术语含义与公开标准来源,帮助工程师理解封装技术的产业位置。
从公开规格数据出发,拆解AI推理芯片显存带宽与算力配比的关系,说明带宽为何常成为端到端时延的实际约束,并给出工程师可复用的看数方法与术语解释。
从封装与互联角度复盘AI推理芯片的工程取舍,结论先行:推理场景更看重显存带宽与交付节奏,2.5D适合高带宽刚需,Chiplet适合成本与复用平衡。
人人体育行业资讯栏目走近芯片验证一线,记录一位推理芯片验证工程师三年间的角色转变,从算法调参到流片前验证,呈现AI芯片落地节奏与工程团队的日常。
从公开规格出发,盘点主流AI推理芯片的显存带宽与容量组合,梳理端侧与大模型推理场景的取舍逻辑,帮助读者在选型时抓住关键指标。
在客户端中查看赛事与社区内容,随时翻阅产品与方案的对比视图与参数筛选结果。