このフレームワークは、高性能オペレーターと最適化された推論エンジンを統合し、分散推論、投機的デコーディング、構造化出力などの機能をサポートし、NVIDIAおよびHuawei Ascendプラットフォームと互換性があります。DeepSeekは、本番レベルのトークンエンコード/デコードコンポーネントであるdeepseek-recipeも同時にオープンソース化しました。