馬克斯-普朗克研究所的科學傢們利用神經形態計算中的物理過程,設計出一種更節能的人工智能訓練方法。這種方法有別於傳統的數字神經網絡,可以降低能耗,優化訓練效率。該團隊正在開發一種光學神經形態計算機來展示這項技術,旨在大幅推動人工智能系統的發展。
基於物理學的新型自學機器可以取代目前的人工神經網絡並節約能源。人工智能(AI)不僅性能驚人,而且需要大量能源。承擔的任務越復雜,能耗就越大。德國埃爾蘭根馬克斯-普朗克光科學研究所的科學傢維克托-洛佩斯-帕斯托爾和弗洛裡安-馬誇特開發出一種更高效的人工智能訓練方法。他們的方法利用物理過程,有別於傳統的數字人工神經網絡。
負責開發為 ChatGPT 提供動力的 GPT-3 技術的 Open AI 公司沒有透露訓練這個知識淵博的高級人工智能聊天機器人所需的能量。
根據德國統計公司 Statista 的數據,這將需要 1000 兆瓦時,大約相當於 200 個三人或三人以上的德國傢庭的年消耗量。雖然這種能源消耗使 GPT-3 能夠解在其數據集中,"deep"一詞後面更有可能出現的是"sea"還是"learning",但無論如何,它都無法理解這些短語的深層含義。
神經形態計算機上的神經網絡
在過去幾年中,為降低計算機,特別是人工智能應用的能耗,一些研究機構一直在研究一種全新的概念,即未來計算機如何處理數據。這一概念被稱為神經形態計算。雖然這聽起來類似於人工神經網絡,但實際上與人工神經網絡關系不大,因為人工神經網絡是在傳統的數字計算機上運行的。
這意味著,軟件或更準確地說算法是以大腦的工作方式為模型的,但數字計算機是硬件。它們依次執行神經元網絡的計算步驟,一個接一個,區分處理器和內存。
馬克斯-普朗克光科學研究所所長、埃爾蘭根大學教授弗洛裡安-馬誇特(Florian Marquardt)說:"當一個神經網絡用多達 1 TB 的數據訓練數千億個參數(即突觸)時,僅這兩個組件之間的數據傳輸就會消耗大量能量。"
如果人腦的工作能效與使用矽晶體管的計算機類似,那麼人腦就完全不同,在進化過程中可能永遠不會具有競爭力。它很可能會因過熱而失效。
大腦的特點是並行而非順序地完成思維過程的眾多步驟。神經細胞,或者更準確地說,突觸,既是處理器,又是存儲器。世界各地的各種系統都被視為神經細胞的神經形態對應物的可能候選者,其中包括利用光而不是電子進行計算的光子電路。它們的元件同時充當開關和存儲單元。
自學物理機器獨立優化突觸
弗洛裡安-馬誇特與馬克斯-普朗克光科學研究所的博士生維克托-洛佩斯-帕斯托爾(Víctor López-Pastor)一起,為神經形態計算機設計出一種高效的訓練方法。他解釋說:"我們提出自我學習物理機器的概念。核心思想是以物理過程的形式進行訓練,其中機器的參數由過程本身進行優化。在訓練傳統人工神經網絡時,需要外部反饋來調整數十億個突觸連接的強度。不需要這種反饋,訓練效率就會高得多。在自學習物理機器上實施和訓練人工智能,不僅可以節約能源,還能節省計算時間。我們的方法不管自學機器中的物理過程是什麼,都能發揮作用,我們甚至不需要知道具體的過程。不過,這個過程必須滿足幾個條件,最重要的是,它必須是可逆的,也就是說,它必須能夠以最小的能量損失向前或向後運行。"
"此外,物理過程必須是非線性的,即足夠復雜。隻有非線性過程才能完成輸入數據和結果之間的復雜轉換。一個彈球在盤子上滾動而不會與另一個彈球相撞,這是一個線性動作。但是,如果它受到另一個彈球的幹擾,情況就會變成非線性的。"
光學神經形態計算機的實際測試
光學中也有可逆非線性過程的例子。事實上,維克多-洛佩斯-帕斯托爾(Víctor López-Pastor)和弗洛裡安-馬誇特(Florian Marquardt)已經與一個實驗小組合作開發一臺光學神經形態計算機。這臺機器以疊加光波的形式處理信息,由合適的元件調節互動的類型和強度。研究人員的目標是將自學物理機器的概念付諸實踐。
弗洛裡安-馬誇特說:"我們希望能在三年內推出第一臺自學物理機器。到那時,神經網絡的突觸數量和訓練數據量都將大大超過今天的水平。因此,人們可能會更加希望在傳統數字計算機之外實現神經網絡,並用訓練有素的神經形態計算機取而代之。我們相信,自學物理機器很有可能被用於人工智能的進一步發展。"