英特爾已將其NPU加速庫(intel-npu-acceleration-library)開源,作為Windows和Linux系統的用戶空間庫,用於與其新款MeteorLake筆記本電腦上的神經處理單元(NPU)接口。
英特爾長期以來一直在開發 iVPU Linux 內核驅動程序,該驅動程序位於內核上遊,用於從 Meteor Lake 開始支持英特爾 NPU(以前稱為 VPU)。這個 NPU 加速庫是一個方便的 Python 庫,可以充分利用 NPU 的潛力。
英特爾神經處理單元庫支持 8 位量化、Float16 支持、torch.compile 支持、靜態形狀推理和其他功能。
NPU 加速庫可從 GitHub 下載,也可通過 PIP 方便地安裝:
https://github.com/intel/intel-npu-acceleration-library
英特爾 NPU 加速庫 GitHub 頁面上的 Python 代碼示例展示在 NPU 上進行單矩陣乘法運算、為 NPU 編譯模型,甚至在 NPU 上運行 Tiny-Llama 模型。隨著人工智能時代的到來以及 NPU 在更多英特爾處理器上的應用,這個庫將變得越來越重要。