Jim Keller:NVIDIA的CUDA不是護城河,是沼澤!


對於 x86、Arm、MISC和RISC-V等處理器架構都有深入研究的傳奇處理器架構師JimKeller批評被外界認為是英偉達(NVIDIA)“護城河”的CUDA架構和軟件堆棧,並將其比作x86,稱之為“沼澤”。他指出,就連英偉達本身也有多個專用軟件包,出於性能原因,這些軟件包依賴於開源框架。

“CUDA 是沼澤,而不是護城河,”凱勒在 X 帖子中寫道。“x86 也是一片沼澤。[…] CUDA 並不漂亮。它是通過一次堆積一件東西來構建的。” 

確實,就像x86一樣,CUDA在保持軟件和硬件向後兼容性的同時逐漸增加功能。

這使得英偉達的平臺完整且向後兼容,但它影響性能並使程序開發變得更加困難。

同時,很多開源軟件開發框架可以比CUDA更高效地使用。

“基本上沒有人編寫 CUDA,”Jim Keller在後續帖子中寫道。“如果你確實編寫 CUDA,它可能不會很快。[...] Triton、Tensor RT、Neon 和 Mojo 的存在是有充分理由的。”

甚至NVIDIA本身也有不完全依賴 CUDA 的工具。

例如,Triton Inference Server 是 NVIDIA 的一款開源工具,可簡化 AI 模型的大規模部署,支持 TensorFlow、PyTorch 和 ONNX 等框架。

Triton 還提供模型版本控制、多模型服務和並發模型執行等功能,以優化 GPU 和 CPU 資源的利用率。

NVIDIA的TensorRT是一種高性能深度學習推理優化器和運行時庫,可加速NVIDIA GPU上的深度學習推理。

TensorRT 從各種框架(例如 TensorFlow 和 PyTorch)中獲取經過訓練的模型,並對其進行優化以進行部署,從而減少延遲並提高圖像分類、對象檢測和自然語言處理等實時應用程序的吞吐量。

但是,盡管像Arm、CUDA 和x86這樣的架構可能會被認為是“沼澤”,因為它們的演進速度相對較慢、必須向後兼容並且體積龐大,但這些平臺也不像GPGPU這樣分散,這可能根本不是一件壞事。

目前尚不清楚 Jim Keller 對 AMD 的ROCm和英特爾的OneAPI有何看法,但很明顯,盡管他花很多年時間設計 x86 架構,但他並不迷戀其未來前景。

他的言論還暗示,盡管他曾在世界上一些最大的芯片制造商工作過一段時間,包括蘋果、英特爾、AMD、博通(現在是Tenstorrent)等公司,但我們可能不會在NVIDIA的名單上看到他的名字。



相關推薦

2024-04-15

JimKeller不僅僅是芯片設計大神,技術得,更是開放技術的忠實擁躉,對於那些封閉技術一直深惡痛絕。很自然的,NVIDIA就成他的“仇人”。最近,JimKeller又提出,NVIDIA最新的BlackwellGPU在多芯片互連、網絡互連方面,不應該使用私

2023-04-07

想到芯片界一代宗師、曾經在AMD領導研發Zen架構的大神JimKeller提前曝光。如今,Jim Keller擔任加拿大AI創業公司Tenstorrent CEO,日前在印度一次大學演講中,Keller分享公司自研RISC-V架構CPU核Ascalaon的性能表現,並在外部對比中曬出和Z

2022-09-13

下的可能就是RISC-V,此前在AMD及Intel都工作多年的大牛JimKeller也RISC-V必勝。Jim Keller是何許人也?很多人聽過他,也有很多人不知道,他在半導體行業有20多年經驗,1998年之前在DEC參與Alpha處理器研發,1998年後進入AMD公司,參與K7

2024-03-05

強大的硬件之外,CUDA開發與生態系統才是NVIDIA牢不可破的護城河,其他廠商和平臺經常通過模擬轉譯的方式兼容,但這招以後可能行不通。其實自從2021年開始,NVIDIA就禁止其他硬件平臺使用模擬層運行CUDA軟件,但隻是在在線EUL

2023-01-20

加拿大AI芯片創業公司Tenstorrent日前宣佈人事調整,CTOJimKeller將出任CEO一職。有趣的是,原CEOLjubisaBajic與Keller交換工作,將擔任新的CTO。Keller在社交平臺寫道,我和LjubisaBajic決定角色互換,繼續研發人工智能、CPU產品等,以應對

2022-07-06

。在雲端訓練芯片領域,雖然一直有不同的挑戰者,但是NVIDIA一直保持著龍頭的位置。從2012年深度學習復興,依靠NVIDIA GPU的CUDA生態成功克服訓練效率難題並成功掀起這一代人工智能潮流之後,NVIDIA的GPU一直是訓練市場的首選芯

2024-03-28

關於算力的“暗線”。對 AI 的發展來說,算力短缺已經不是一天兩天的問題,時至今日各大公司都還在繼續搶購 GPU,更確切地說,是英偉達的高端 GPU:如果說《沙丘》是“得香料者得天下”,那 AI 行業就是“得英偉達 GPU 者得

2024-02-19

知名芯片設計專傢吉姆-凱勒(JimKeller)稱OpenAI首席執行官山姆-阿爾特曼(SamAltman)的"人工智能雄心"是多餘的,並聲稱他可以用更少的資金實現同樣的目標。吉姆-凱勒(Jim Keller)說,他可以用不到1萬億美元

2023-02-25

體管的CPU,性能可以媲美英特爾初代產品的22歲少年。Jim Keller、Sam Zeloof這一老一小傳奇,如今全部被OpenAI盯上。這是要把自己當下的“命門”——算力,好好盤算盤算的節奏?它,具體什麼來頭?如上所提芯片商,名叫Atomic Semi

2024-02-18

設成本將遠低於7萬億美元。另一名資深的芯片架構師Jim Keller也在X上回應稱,他用不到1萬億美元的資金就能夠做到Altman所計劃的事情。Keller還尖銳地指出,擴大芯片供應第一步就是消除利潤堆積,即簡化芯片的供應鏈;其次就

2024-07-03

偉達的CUDA軟件,原本不少分析師都認為CUDA是英偉達的護城河”,但現在監管機構卻認為,這在某種程度上違反公平競爭行為。自從英偉達成為生成式AI熱潮的最大受益者之後,它就引起監管機構的註意。事實上,去年9月,法國

2024-02-16

NVIDIACUDA通過多年耕耘,鑄就牢不可破的生態壁壘,外人各種嘗試都無法進入,包括AMDROCm開發平臺,但其實也不是沒有辦法。開發者AndrzejJanik就憑借一己之力,借助InteloneAPI,開發CUDA兼容方案“ZLUDA”,能夠在Intel硬件上原生運行

2024-02-26

時大張旗鼓,更像是一種拉投資的舉動。事實上,這已經不是Groq第一次公開“蹭熱度”。之前GPT Store剛發佈時,Groq給OpenAI的奧特曼發一封信,嘲笑使用GPTs跟在“深夜讀《戰爭與和平》一樣緩慢”。馬斯克的聊天機器人Grok發佈

2024-02-27

storrentInc.合作,在半導體行業傳奇人物、“晶片大神”JimKeller的幫助下設計其首款先進的人工智能(AI)芯片。Tenstorrent宣佈,已被授權設計日本人工智能加速器的一部分,並將共同設計整個芯片。該公司致力於采用開源的RISC-V