如果全世界隻有一傢公司能趕超OpenAI，那Google應該是第一。最近，Google重磅發佈一篇論文報告，裡面提出一種名為“模型竊取”的技術。通過模型竊取技術，Google成功破解ChatGPT基礎模型Ada和Babbage的投影矩陣，甚至連內部隱藏維度的關鍵信息也是直接破獲，分別是1024和2048。
這一發現猶如一記重磅炸彈，在AI界引發強烈的震動。誰也沒想到，號稱“CloseAI”的OpenAI竟然也會被竊取模型機密的一天。
更恐怖的是，這種模型竊取技術還非常簡單。隻要你擁有ChatGPT這類封閉大模型的API，就可以通過API接口，發送不到2000次經過精心設計好的查詢，然後去分析它生成的輸出，就可以逐步推斷出模型的內部結構和參數。
雖然這種方法不能完全復制原始模型，但已經足以竊取它的部分能力。而且這種攻擊非常高效，不需要用太多的成本，就可以拿到模型的關鍵信息。
按照Google的調用次數來看，僅僅隻需要不到20美金（約合150元人民幣）的成本，就可以完成模型竊取的操作，並且這種方法同樣適用於GPT-3.5和GPT-4。
換句話說，就是不費吹灰之力獲得一個大模型理解自然語言的能力，還能用來構建一個性能相近的“山寨版”模型，既省事又省錢。
反觀OpenAI，被競爭對手低價破解模型機密，真的坐得住嗎？坐不住。截至目前，OpenAI已經修改模型API，有心人想復現Google的操作是不可能。
值得一提的是，Google研究團隊中就有一位OpenAI研究員。不過作為正經安全研究，他們在提取模型最後一層參數之前就已經征得OpenAI同意，而在攻擊完成後，也刪除所有相關數據。
但不管怎麼說，Google的實驗足以證明一點，哪怕OpenAI緊閉大門也並不保險。
大模型全面受挫，敲響開閉源警鐘
既然封閉的大模型都無法幸免，開源的大模型又會如何呢？
基於這一點，Google針對不同規模和結構的開源模型進行一系列實驗，比如GPT-2的不同版本和LLaMA系列模型。
要知道，GPT-2是一個開源的預訓練語言模型，分為小型模型(117M)和大型模型(345M)兩種。而在對GPT-2的攻擊中，Google通過分析模型的最終隱藏激活向量並執行SVD發現，盡管GPT-2小型模型理論上具有768個隱藏單元，但實際上隻有757個有效的隱藏單元在起作用。
這也就意味著GPT-2可能在實際使用中，並沒有充分利用其設計的全部能力，或者在訓練過程中某些維度的重要性不如其他維度。
此外，Google還研究模型中的一種叫做“歸一化層”的東西對於攻擊的影響。一般來說，歸一化層的作用是讓訓練更加穩定，從而提升模型的表現。然而Google發現，即使模型加入歸一化層，攻擊的效果也並沒有減弱。這說明即使考慮現代深度學習模型中常見的復雜結構，攻擊方法也依然有效。
為進一步驗證攻擊的范圍，Google還將目光瞄向更大、更復雜的LLaMA模型。它是由Meta發佈的大語言系列模型，完整的名字是Large Language Model Meta AI，可以說LLaMA是目前全球最活躍的AI開源社區。
通過對LLaMA系列模型進行攻擊，Google成功地從這些模型中提取嵌入投影層的維度信息。值得註意的是，即使在這些模型采用先進的技術，如混合精度訓練和量化，攻擊依然能夠成功，這表明攻擊方法的普適性和魯棒性。
可以說，Google給閉源和開源兩大領域同時敲響一記警鐘。
AI三巨頭對線，2024誰輸誰贏？
從嚴格意義上來講，OpenAI、Google、Meta就是爭奪AGI聖杯的三大巨頭。
其中，Meta和OpenAI完全相反，前者走的是開源路線，而後者主要打造閉源模型。但Google和他們完全不一樣，閉源與開源雙線作戰，閉源對抗OpenAI，開源對抗Meta。
在人工智能領域裡，Google可以算是開源大模型的鼻祖。今天幾乎所有的大語言模型，都是基於Google在2017年發佈的Transformer論文，這篇論文顛覆整個自然語言處理領域的研究范式。而市面上最早的一批開源AI模型，也是Google率先發佈的BERT和T5。
然而，隨著OpenAI在2022年底發佈閉源模型ChatGPT，Google也開始調整其策略，逐漸轉向閉源模型。這一轉變使得開源大模型的領導地位被Meta的LLaMA所取代，後來又有法國的開源大模型公司Mistra AI走紅，尤其是其MoE模型備受行業追捧。
直到Google今年再次發佈開源大模型Gemma，已經比Meta的LLaMA整整晚一年。
很顯然，Gemma這次的發佈標志著Google在大模型戰略上的巨大轉變，這一舉動意味著Google開始兼顧開源和閉源的新策略，而其背後的目的也是顯而易見。
眾所周知，當前大模型領域的競爭已經形成一種錯綜復雜的打壓鏈格局。其中OpenAI牢牢站在鏈條頂端，而它所打壓的恰恰是那些有潛力追趕上它的競爭對手，比如Google和Anthropic。而Mistral作為一股新興力量，估計也正在被列入其中。
如果非要排列一個打壓鏈條，那可以歸結為：OpenAI→Google &Anthropic &Mistral→ Meta→其它大模型公司。
可以說，無論在閉源還是開源領域，Google都沒能確立絕對的領先地位。
所以這也不難理解，為什麼有專業人士會認為，Google選擇在此時重返開源賽場，是被迫的。Google之所以開源主打的是性能最強大的小規模模型，就是希望腳踢Meta和Mistral；而閉源主打的是規模大的效果最好的大模型，就是為希望盡快追上OpenAI。
但無論如何，在未來的對壘格局裡，Google已經先發制人，成功將壓力給到OpenAI和Meta。
這一次，關鍵在於OpenAI和Meta該如何應對。