Gemini:
為何英偉達要「投資」Groq 的技術?
英偉達此舉被視為在 AI 推理(Inference)市場 的防禦與擴張戰略:
彌補延遲短板: 英偉達的 GPU(如 H100/Blackwell)在「訓練」模型方面無人能敵,但在需要極速響應的「推理」場景中,Groq 的 LPU(Language Processing Unit) 表現出更低的延遲和更高的吞吐量(例如 Llama 3 推理速度可達每秒 300-500 tokens)。
對抗 Google TPU: 隨著 Google、Apple 等公司轉向 TPU 架構,英偉達需要吸收像 Groq 這種基於 SRAM、無外部記憶體依賴的架構優勢,以鞏固其在實時 AI 應用(如語音對話、即時翻譯)中的地位。
集成 AI 工廠架構: 黃仁勳表示,計劃將 Groq 的低延遲技術整合進英偉達的「AI 工廠」架構中,提供更廣泛的實時工作負載支援。