Hacker News · 首页· ggcr·· 22 天前精选AI 评分47
DeepInfer 推理框架称单集群达 155 万亿 tokens/天
DeepInfer: High-performance inference framework for DeepSeek models
AI 导读
HN 用户 ggcr 转发 DeepInfer 推理框架的消息,称基于该框架已为 DeepSeek V4.1 Flash 提供高吞吐、低延迟的大规模推理服务,单集群服务吞吐达 155 trillion tokens/day,整体收入为 $38 per card per hour(按闲时定价),并附上知乎专栏原文链接。
正文 · AI 翻译
一颗核弹
“基于这一框架,我们为 DeepSeek V4.1 Flash 实现了高吞吐、低延迟的大规模推理服务。目前,单集群服务吞吐量为每天 155 万亿 tokens,整体收入为每卡每小时 38 美元(按非高峰定价)”
来源:Hacker News · 首页 · news.ycombinator.com