英特爾將其 Python NPU 加速庫開源


英特爾已將其NPU加速庫(intel-npu-acceleration-library)開源,作為Windows和Linux系統的用戶空間庫,用於與其新款MeteorLake筆記本電腦上的神經處理單元(NPU)接口。

image.webp

英特爾長期以來一直在開發 iVPU Linux 內核驅動程序,該驅動程序位於內核上遊,用於從 Meteor Lake 開始支持英特爾 NPU(以前稱為 VPU)。這個 NPU 加速庫是一個方便的 Python 庫,可以充分利用 NPU 的潛力。

英特爾神經處理單元庫支持 8 位量化、Float16 支持、torch.compile 支持、靜態形狀推理和其他功能。

NPU 加速庫可從 GitHub 下載,也可通過 PIP 方便地安裝:

https://github.com/intel/intel-npu-acceleration-library

英特爾 NPU 加速庫 GitHub 頁面上的 Python 代碼示例展示在 NPU 上進行單矩陣乘法運算、為 NPU 編譯模型,甚至在 NPU 上運行 Tiny-Llama 模型。隨著人工智能時代的到來以及 NPU 在更多英特爾處理器上的應用,這個庫將變得越來越重要。


相關推薦

2024-03-29

慮通過最近創建的加速器"accel"子系統將其"周易"NPU驅動程序上傳到Linux內核中。中國Arm公司的神經處理單元(NPU)驅動程序目前擁有開源內核和用戶空間堆棧。三年前,百度的一位工程師曾

2022-09-22

Python編程語言中一個被忽視15年的漏洞,正在重新引發人們的關註,因為它可能對超過35萬個開源存儲庫項目造成影響。其實早在2007年,就已經有安全研究人員披露並標記過CVE-2007-4559。遺憾的是,它一直沒有獲得正式的修復補丁

2024-03-22

在美國政府《芯片法案》推出近2年後,老牌芯片巨頭英特爾(INTC.US)美東時間周三獲得高達85億美元的政府補貼以及多達110億美元的特殊貸款支持。在英特爾獲得巨額政府補貼的消息公佈之後,知名投資機構GlobalEquitiesResearch將

2024-02-29

英特爾制定到2025年為人工智能個人電腦提供1億個CPU的宏偉目標,以加快這一快速增長領域的發展。消費計算行業,尤其是筆記本電腦市場已經出現將人工智能功能集成到產品中的徹底轉變,這些產品被稱為"AIPC&q

2022-08-16

據Theregister報道,英特爾宣佈已與IPValueManagementGroup簽訂協議,將其近5000項專利轉讓給該集團旗下一傢新成立的公司——TahoeResearchLimited,該公司將尋求將這些專利許可給第三方。據IPValue的知識產權經理表示,新協議擴展公司與

2022-12-22

據報道,英特爾準備將圖形芯片部門一分為二,之所以這樣做主要是想重組業務,以便更好與英偉達、AMD競爭。消費者圖形部門將與客戶計算部門整合,客戶計算部門為PC提供芯片。加速計算團隊將與數據中心、AI部門整合。加

2024-02-19

rectML支持NPU即神經網絡計算單元,不過到目前為止僅支持英特爾處理器,AMD處理器並未得到微軟的支持。今天AMD發佈博客稱該公司正在微軟緊密合作,後續將在AMDNPU處理器上啟用微軟計算驅動程序模型(MCDM),簡單來說就是後續Win

2022-07-28

英特爾周三證實,其正在將6~10代處理器的核芯顯卡遷移到陳舊支持型號(legacysupportmodel)——基本涵蓋可追溯到Skylake時代的Gen9硬件。Phoronix指出,盡管初期主要影響Windows平臺,但從長遠來看,這項變動遲早也會波及到Linux產品

2023-06-06

6月6日消息,據外媒報道,芯片巨頭英特爾,將出售旗下自動駕駛與輔助駕駛技術.司Mobileye的部分股票。Mobileye已在官網宣佈英特爾將出售部分股票的消息,賣方是英特爾全資擁有的英特爾海外基金公司,將出售3500萬股,高盛和

2023-04-06

從歷史上看,英特爾將其積累的所有芯片知識用於推進摩爾定律,並將這些知識應用到其未來的CPU中。如今,其中一些高級處理器將用於阿貢國傢實驗室即將推出的“Aurora”超級計算機。然而,要求苛刻的模擬和建模工作負載也

2022-12-24

據外媒報道,本周英特爾宣佈將進行圖形芯片部門拆分,以加快從英偉達和AMD手中搶奪市場份額。根據信息披露,英特爾將撤銷加速計算系統和圖形事業部(AXG),該部門一分為二:其中,消費者圖形部門將與英特爾的客戶計算部

2022-08-01

Igor'sLab報道稱,英特爾正在推遲代號為“SapphireRapids”的第四代至強(Xeon)可擴展處理器(ScalableProcessor)的上市時間。當然,這並不是該項目的首次延期。某些最早的路線圖,甚至可追溯到2021年1季度——但原本我們

2022-10-18

據熟知內情的消息人士透露,英特爾計劃將其自動駕駛汽車部門Mobileye以遠低於此前預期的估值IPO(首次公開募股)上市。消息人士稱,英特爾最初預計的Mobileye估值約為500億美元,但現在的目標則僅為不到200億美元,而且在IPO

2024-03-27

3月27日消息,近幾個月來,英特爾、微軟、高通和AMD一直在積極推動“AIPC(人工智能個人電腦)”的理念,預示著個人電腦正逐步邁向這樣一個新階段:Windows系統中集成更多人工智能功能。盡管我們仍在翹首以待微軟公佈更多