四月二十五日,英偉達正式宣布完成對DeepSeek-V4人工智能模型的適配支持。開發(fā)者可通過NVIDIA NIM微服務直接并部署該模型,也可基于SGLang或vLLM等主流推理框架開展靈活定制化應用。
DeepSeek-V4-Pro版本具備1.6萬億總參數(shù)與490億激活參數(shù),專為高復雜度推理任務設計;而DeepSeek-V4-版本則配置2840億總參數(shù)與130億激活參數(shù),聚焦于低延遲、高吞吐的實時應用場景。兩款模型均支持百萬級Token上下文長度及最高達38.4萬Token的單次輸出能力,可全面支撐長文本理解、大規(guī)模文檔解析等關鍵任務,并以MIT許可證形式開源。
實際部署測試表明,借助vLLM提供的即用型優(yōu)化方案,開發(fā)者可在Blackwell架構B300硬件平臺上實現(xiàn)快速啟動與高效運行。后續(xù)隨著Dynamo編譯器、NVFP4稀疏精度支持以及CUDA底層內(nèi)核的持續(xù)迭代升級,模型整體推理性能有望進一步增強。