跳到正文
原文
Hacker News · 首页· ggcr·· 22 天前精选AI 评分47

DeepInfer 推理框架称单集群达 155 万亿 tokens/天

DeepInfer: High-performance inference framework for DeepSeek models

AI 导读

HN 用户 ggcr 转发 DeepInfer 推理框架的消息,称基于该框架已为 DeepSeek V4.1 Flash 提供高吞吐、低延迟的大规模推理服务,单集群服务吞吐达 155 trillion tokens/day,整体收入为 $38 per card per hour(按闲时定价),并附上知乎专栏原文链接。

正文 · AI 翻译

一颗核弹

“基于这一框架,我们为 DeepSeek V4.1 Flash 实现了高吞吐、低延迟的大规模推理服务。目前,单集群服务吞吐量为每天 155 万亿 tokens,整体收入为每卡每小时 38 美元(按非高峰定价)”

来源:https://zhuanlan.zhihu.com/p/2095560295930508953

来源:Hacker News · 首页 · news.ycombinator.com