ChatGPT:
亞馬遜真的在降低 AI 晶片/雲端 AI 成本
Amazon 公開說,他們自研的 AI 晶片/伺服器方案,比起傳統使用 Nvidia GPU 的方案,「價格/效能比(price-performance)」優勢是 40%~50%,換句話說,有可能讓「成本降低到約一半」。
最新推出的 Trainium 3,據說效能是前代的約 4 倍,同時能耗效率也更高。
AWS 表示,使用 Trainium 3 的客戶——不論是訓練模型(training)還是推論/運行模型(inference),都能看到「運算成本最多可降低 50%」的效果。
綜合來說,這些說法支持你提到的「砍半成本」的主張 — 至少在理論與官方說法中,是成立的。
雖然 Trainium 在某些訓練/推論任務上表現不錯,但與 Nvidia GPU 所能支援的模型、生態系整合度、開發者習慣/工具鏈成熟度仍有差距。對某些高端或複雜模型來說,GPU 可能仍不可或缺。
不同工作負載差異大:若你訓練/運行的是極大模型、需要極複雜運算/高頻推論,實際成本/效能優勢可能不如 AWS 主張的「降低 50%」。
客戶/地區限制:自研晶片效益對於使用 AWS 雲端服務、且願意採用 AWS 提供的工具/架構的客戶最明顯。對於自建硬體、或依賴其它雲端/GPU 生態系的公司,此好處就有限。
因此,「砍半成本」更像是針對 AWS 雲端用戶、AI 訓練/推論這類大規模 workloads 的一種理想化/理論上的優勢 — 並不代表所有 AI 使用情境都會享受到同樣折扣。