科技巨頭微軟正在開發一種新的網卡芯片（芯片行業分析報告），替代英偉達ConnectX SmartNIC智能網卡產品，以確保 AI 模型數據可以在微軟云服務器之間快速傳輸。微軟方面確認了此消息。該公司在一份聲明中表示，作為微軟Azure基礎設施系統方法的一部分，公司經常開發新技術來滿足客戶的需求，包括網絡芯片。

實際上，作為英偉達GPU(圖形處理器)的最大客戶之一，微軟事件是一個重要“信號”。除了省成本之外，微軟還希望新網卡能夠提高其英偉達芯片服務器的性能，將有助于使用微軟云的OpenAI 研發更多 AI 大模型。近兩天，一家名為Groq的美國 AI 公司一夜“爆火”，主要因其自研的LPU芯片在 AI 推理技術上，通過優化架構和減少內存瓶頸，實現了高效率和低延遲，在處理大模型時的速度遠超英偉達GPU，每秒生成速度接近500 tokens，而GPT-4僅40 tokens。

因此，Groq LPU被譽為“史上最快的大模型技術”。受上述消息以及外部環境影響，截至2月20日美股收盤，英偉達單日股價下跌4.35%，創下去年10月以來的最大單日跌幅，一夜之間總市值縮水780億美元(約逾5600億元人民幣)。

IDC分析師對鈦媒體App等表示，隨著Sora的推出，多模態大模型對 AI 算力的消耗更高，算力的可獲取性以及成本將是行業挑戰之一。那么，面對這種新的競爭局勢，英偉達真的危險了嗎?據悉，Groq公司成立于2016年，總部位于美國加利福尼亞，創始團隊中有很多人都參與過谷歌TPU項目。

其中，Groq創始人兼 CEO喬納森·羅斯(Jonathan Ross)曾設計并制作出了第一代谷歌TPU芯片的核心元件，TPU 20%的研發項目都由他完成。公司領導層的10人中，有8人都有在谷歌、英特爾等科技巨頭的工作經歷。融資方面，截至目前，Groq共完成了3輪融資，總共融資到了3.67億美元。最后一輪融資在2021年4月完成，融資金額為3億美元，由老虎環球基金(Tiger Global Management)和投資公司D1 Capital領投。

Groq之所以能夠在此次 AI 熱潮中“爆火”，主要得益于其使用了自研芯片LPU(Language Processing Units)，而不是英偉達的GPU(圖形處理器)芯片，它能實現高速度和低延遲。據Groq在2024年1月的第一個公開基準測試，由Groq LPU驅動的Meta Llama 2-70B模型，推理性能比其他頂級云計算供應商快18倍。

roq LPU的工作原理與英偉達的GPU不同，它采用了名為時序指令集計算機(Temporal Instruction Set Computer)架構，使用存儲器為靜態隨機存取存儲器(SRAM)，其速度比GPU所用的高帶寬存儲器(HBM)快約20倍。從芯片的規格中，SRAM容量是230MB，帶寬80TB/s，FP16的算力是188TFLOPs。這一區別造成了 LPU和GPU在生成速度的差別。據Groq表示，英偉達GPU生成每個tokens需要約10焦耳(J)到30焦耳，而 Groq 僅需1焦耳到3焦耳。