LLM Runner Llamafile更新為Ryzen AVX-512 CPU帶來10倍性能提升


借助Llamafile的最新更新,在本地系統上運行龐大的LLM模型變得更容易,因為采用AVX-512的AMDRyzenCPU性能提升10倍。Phoronix報道稱,Llamafile的最新更新現在支持AVX-512指令集,使支持AVX-512的CPU在使用該軟件時性能得到大幅提升。

據悉,AMD 的 Zen 4"Ryzen"CPU 在使用新更新後,提示評估速度將提高十倍,最終使該工具的 LLM 性能更加高效。

對於不解 Llamafile 的人來說,它隻需部署一個可執行文件,將 LLM 模型與運行該模型所需的庫結合在一起即可。Mozilla Ocho 開發這一工具,旨在通過利用 CPU 和 GPU 的執行能力,讓更多人解 LLM。

不過,Llamafile的開發仍處於早期階段,因此還存在一些不準確的地方,我們相信一旦邊緣計算的發展勢頭強勁,這些問題很快就會得到解決。

你可以通過 GitHub 訪問最新版本。請註意,AMD 的 Ryzen CPU 是唯一支持 AVX-512 指令的消費級芯片,而英特爾已經放棄對它的支持,因為害怕這會影響其至強芯片的銷售。這使得 AMD 的 Ryzen 平臺對於希望運行 AVX-512 應用程序的用戶來說更具優勢。

Screenshot-2024-04-02-at-7.59.25 PM.png


相關推薦

2024-05-10

cho是瀏覽器公司的創新和實驗小組,其有趣的創新之一是Llamafile,這是一種從單個文件分發和運行人工智能大型語言模型(LLM)的簡便方法。今天晚上發佈的Llamafile0.8.2是最新版本,更新Llama.cpp,最令人興奮的是對AVX2性能進行優

2022-10-06

Zen4微架構支持AVX-512指令。在RPCS3中,AVX-512支持獲得30%的性能提升,這讓AMD Ryzen 9 7950X成為協助模擬PS3環境的最有影響力的處理器。結果顯示,AMD Zen 4的單線程性能是至關重要的,因為該CPU超過英特爾第11代酷睿"Rocket Lake"C

2022-09-05

,但後來又出於功耗等方面的考慮,而通過主板 CPU 微碼更新來鎖死(至強 / Xeon 芯片仍可用)。數據方面,與標準的 AVX2 指令集相比,AVX-512 可為 RPCS3(索尼 PS3)等模擬器帶來高達 30% 的性能提升。有趣的是,在 Intel 在消費級 C

2022-10-11

器中集成的RDNA2核顯,可通過新BIOS輕松飆過3GHz頻率、並帶來20%的性能提升。此外林大演示PBO增強模式下的熱限制曲線,這是微星在X670/X670E主板上引入的一項新功能。作為一項特色功能,熱限制曲線確實有助於在不影響性能的情

2024-03-13

"處理器,將頻率控制在較低水平也能保持大部分挖礦性能,並降低功耗限制,這可以保持或提高利潤率,同時還能延長硬件的使用壽命。於是,不可避免的事情發生--AMD Ryzen 9 7950X 的庫存一夜之間在網上零售店消失殆盡。由

2022-08-30

。如果是這樣的話,我們可以期待今年晚些時候CPU陣容的更新,因為V-Cache部件已經被AMD自己確認為2022年第四季度末推出。Ryzen 7700X的售價為399美元,在推出時將與Core i7-12700K競爭。AMD Ryzen 5 7600X 6核"Zen 4"桌面CPU本次發佈的

2022-10-18

套件(GCC)的初始支持代碼。Phoronix指出,AMD已發佈帶有更新後的Znver4目標的“基礎啟用補丁”。遺憾的是,目前已知的調整與Zen3相同,暫時沒有在變更日志中給出詳細的指令延遲差異等說明。(via Phoronix)本周早些時候,AMD

2022-10-18

入AVX-512指令集,這在之前可是Intel的獨門絕技。近日,AMD更新LinuxGCC編譯器的基礎代碼,相當於為新的Zenver4打個小補丁,加入對AVX-512指令集的支持。具體支持指令包括:AVX512F、AVX512DQ、AVX512IFMA、AVX512CD、AVX512BW、AVX512VL、AVX512BF16

2022-11-11

帶寬(芯片到芯片互連)的內部AMD Gen3 Infinity Fabric架構的更新IOD。這為快速的CPU互連提供多達四個32Gb/s的插座到插座的結構。與前一代Infinity Fabric設計相比有1.9倍的性能改進。AMD將其Zen 4核心+二級緩存與英特爾Ice Lake-SP(Sunny Cove

2022-09-05

擬器Xenia。如果使用銳龍7000系列平臺運行這些模擬器,將帶來極為明顯的性能提升,但具體提升幅度沒說。根據經驗,12代酷睿最初還能用AVX-512的時候,PS3模擬器RPCS3的性能提升最多30%,但隨後,Intel就把12代酷睿的AVX-512給強行

2022-09-03

12 代酷睿臺式處理器身上,該公司還是通過後續的微碼更新而禁用這項高能耗特性。出乎意料的是,AMD 卻選擇在 Zen 4 銳龍 7000 系列臺式處理器上提供 AVX-512 指令集。至於 LLVMpipie,則是一種獨特的 Mesa OpenGL 軟解方案。當計算機

2022-07-19

管理企業網絡資產的專用網絡審查工具集。全新的 AIDA64 更新改善對 AMD Zen 4 處理器和 AM5 主板的支持,支持 AMD 和英特爾最新的 CPU 平臺和 GPU 顯卡,以及由 AMD 和 NVIDIA 共同提供的 GPGPU 計算技術。值得註意的是,NVIDIA GeForce RTX 409

2022-11-10

大限度地提高影響力。英特爾Max系列產品為更廣泛的市場帶來高帶寬內存,同時還帶來oneAPI,使得在CPU和GPU之間共享代碼變得容易,並更快地解決世界上最大的挑戰。"英特爾公司副總裁兼超級計算集團總經理Jeff McVeigh這樣表

2022-08-27

AVX512本來是Intel針對高性能計算推出一套指令集,至強處理器上很常見,在消費級的酷睿上就不確定,12代酷睿因為小核不支持的緣故還把大核支持的AVX512指令集封殺,但是隨著銳龍7000的到來,這個可能會變成AMD跑分的一個優勢