Intel大型神經擬態系統Hala Point集成11.5億神經元 比人腦快200倍


Intel正式發佈代號“HalaPoint”的新一代大型神經擬態系統,用於類腦AI領域的前沿研究,提升AI的效率和可持續性。該系統基於IntelLoihi2神經擬態處理器,在上代大規模神經擬態研究系統“PohoikiSprings”的基礎上,進一步改進架構,將神經元容量提高10倍以上,達到史無前例的11.5億個,大致相當於貓頭鷹或卷尾猴的大腦皮層規模,性能也提高多達12倍。

Loihi 2處理器早在2021年就已發佈,首發采用Intel 4工藝,集成230億個晶體管、六個低功耗x86核心、128個神經形態核心,單顆就有100萬個神經元、1.2億個突觸,是上代規模的8倍,性能也提升10倍。

Loihi 2應用眾多類腦計算原理,如異步、基於事件的脈沖神經網絡(SNN)、存算一體不斷變化的稀疏連接,而且神經元之間能夠直接通信,不需要繞過內存。

尤其是在新興的小規模邊緣工作負載上,它實現效率、速度和適應性數量級的提升。

比如執行AI推理負載和處理優化問題時, Loihi 2的速度比常規CPU和GPU架構快多達50倍,能耗則隻有百分之一。

Hala Point系統的形態是一個六機架的數據中心機箱,大小相當於一個微波爐,內置1152顆Loihi 2處理器,共有140544個神經形態處理內核、11.5億個神經元、1280億個突觸,最大功耗僅為2600瓦。

系統內還有2300多顆嵌入式x86處理器,用於輔助計算。

內存帶寬達16PB/s(16000TB/s),內核間通信帶寬達3.5PB/s(3500TB/s),芯片間通信帶寬達5TB/s,可以每秒處理超過380萬億次的8位突觸運算、超過240萬億次的神經元運算。

Hala Point在主流AI工作負載上的計算效率非常出色,比如運行傳統深度神經網絡時,每秒可完成多達2萬萬億次運算(20PFlops),8位運算的能效比達到15TOPS/W(每瓦特15萬億次計算),相當於甚至超過基於GPU、CPU的架構。

在用於仿生脈沖神經網絡模型時,Hala Point能夠以比人腦快20倍的實時速度,運行其全部11.5億個神經元。

尤其是在運行神經元數量較低的情況下,它的速度甚至可比人腦快200倍!

早期研究結果表明,通過利用稀疏性高達10比1的稀疏連接和事件驅動的活動,Hala Point運行深度神經網絡的能效比可高達15TOPS/W,同時無需對輸入數據進行批處理。

Hala Point系統有望推動多領域AI應用的實時持續學習,比如科學研究、工程、物流、智能城市基礎設施管理、大語言模型、AI助手等等。


相關推薦

2023-10-26

h的4000倍。圖/IBM結構方面,NorthPole與TrueNorth一樣,由一個大型計算單元陣列(16×16)組成,每個單元都包含本地內存和代碼執行能力。計算資源方面,NorthPole每個單元都經過優化,可執行精度較低的計算,精度從 2 bit到8 bit 不等

2023-12-04

前是一名律師。Rain目前擁有約40名員工,主營產品是基於神經擬態(Neuromorphic)技術的AI芯片。神經擬態是類腦計算的一個分支,它通過模擬人腦的工作方式來設計更快、更高效、耗能更低的計算機芯片,並增強模式識別和感知

2023-12-01

年間曾獲得OpenAI聯合創始人奧特曼的支持。Rain AI是一傢神經擬態芯片初創公司,該公司設計的芯片模擬大腦工作方式,旨在服務於AI算法開發,該公司在2022年的A輪融資中籌集2500萬美元。目前,該公司已經推出首個AI平臺可進行A

2023-11-16

而,現代LLM並不具備這兩大系統。圖1:哺乳動物大腦和大型語言模型之間的宏觀拓撲差異 圖源:Trends in Neurosciences這時有人可能會問,為什麼LLM的架構要模仿大腦的特征,這一點有那麼重要嗎?在我們看來,主要原因是:我們

2023-05-11

或許,可以用“魔法”打敗“魔法”?“我們用 GPT-4 為大型語言模型中的神經元行為自動編寫解釋,並為這些解釋打分。”而 GPT-4 首次解釋的對象是 GPT-2,一個 OpenAI 發佈於 4 年前、神經元數量超過 30 萬個的開源大模型。讓 GPT

2024-03-19

其中一項關鍵改進是采用第二代變壓器引擎,通過為每個神經元使用四個比特而不是八個比特,將計算能力、帶寬和模型大小提高一倍(前面提到的 FP4 的 20 petaflops)。第二個關鍵區別隻有在連接大量 GPU 時才會出現:新一代 NVL

2023-10-30

過程錯綜復雜地聯系在一起,最終形成代理和意識。描述大型語言模型基本架構的示意圖,哺乳動物大腦與大型語言模型之間的差異,左圖為大型語言模型的基本結構示意圖,它可以有幾十個甚至一百多個以前饋方式排列的解碼

2024-05-11

Neuralink的腦機設備植入手術,植入物使用1024個電極記錄神經信號,這些電極分佈在64條比人類頭發還細的“線”上。Neuralink腦機接口“首試者”Noland Arbaugh 圖片來源:Neuralink不過,馬斯克在推文中附上的Neuralink博客文章顯示,1

2024-03-14

片確實有它的優勢。根據Cerebras公司的說法,使用單一的大型處理器可以提高人工智能訓練工作流程的效率。當WSE-3上的4萬億個晶體管在晶圓上互連時,將會大大加快生成式人工智能的處理時間。人工智能模型就是相對簡單的代

2022-09-09

能夠幫助客戶推出先進的推薦系統及實時運行數據推理的大型語言模型。令一眾AI從業者期待的H100原本定於2022年第三季度正式發貨,目前處於接受預定狀態,用戶的真實使用情況和H100的實際性能尚不可知,因此可以通過最新一

2022-08-01

些離子設備推到納秒級的運行狀態。這一設備極大地提高神經網絡的訓練速度,同時大大降低執行訓練的成本和能量。這可幫助科學傢更快地開發深度學習模型,然後將其應用於自動駕駛汽車、欺詐檢測或醫學圖像分析等用途。

2024-01-31

替一塊頭骨”,然後把線縫進腦組織,這樣它們就能靠近神經元,傳遞電信號。Neuralink的腦芯片該公司開發一種特殊的機器人“R1”,它可以瞬間把線插入腦組織中。手術使用的針和線比人的頭發還細。機器人必須特別小心地避

2022-08-15

上億元的超級計算機有這個水平。因為人腦有千億級別的神經元,還有百萬億數量級的神級突觸連接,造就大腦超強的算力,大腦還可以處理不同的信號,進行抽象化思維,這是i9級別的CPU也無法比擬的。大腦浮點算力被i3秒殺

2023-03-08

出現,那麼大腦是否也是這樣呢?目前的主流觀點都認為神經元在人出生以後是不會更新的,腦細胞是死一個少一個。近日,瑞士日內瓦大學和洛桑大學領導的科學傢團隊發現激活這些神經幹細胞的方法,並成功地增加成年甚至