NVIDIA just brought DeepSeek-R1 671-bn param model to NVIDIA NIM microservice on build.nvidia .com- The DeepSeek-R1 NIM microservice can deliver up to 3,872 tokens per second on a single NVIDIA HGX H200 system.- Using NVIDIA Hopper architecture, DeepSeek-R1 can deliver high-speed inference by leveraging FP8 Transformer Engines and 900 GB/s NVLink bandwidth for expert communication.- As usual with NVIDIA's NIM, its a enterprise-scale setu to securely experiment, and deploy AI agents with industry-standard APIs. @NVIDIAAIDev
由[url=https://translate.google.com/][/url]翻译自 英语
NVIDIA 刚刚将 DeepSeek-R1 671-bn 参数模型引入 build.nvidia.com 上的 NVIDIA NIM 微服务
- DeepSeek-R1 NIM 微服务在单个 NVIDIA HGX H200 系统上每秒最多可传送 3,872 个令牌。
- 使用 NVIDIA Hopper 架构,DeepSeek-R1 可利用 FP8 Transformer Engines 和 900 GB/s NVLink 带宽实现高速推理,实现专家通信。
- 与 NVIDIA 的 NIM 一样,它是一个企业级设置,用于安全地进行实验并使用行业标准 API 部署 AI 代理。
|