3月15日本應是小編勤勤懇懇搬磚的平凡一天,但小編剛睡醒就發現朋友圈被ChatGPT刷屏:新版GPT-4震撼發佈!大升級!強到爆炸!這些字眼引起我的興趣,於是小編迅速入(ke)手(jin)gpt-4,經過簡單體驗後,小編發現Chatgpt的思維深度確實比之前有跨越式的提升,高中甚至大一大二的知識根本難不住它,於是小編準備對它進行進一步測試...
如果你還不太解什麼是ChatGPT,可以先看一下我們先前的推送:有人說ChatGPT有物理學博士水平?我們的測試結果令人……
在上一篇推送中我們已經簡單測試ChatGPT的物理水平,但結果並不盡如人意。它仍停留在對物理學一知半解的階段,很多知識點僅限於知道,稍微深入就開始顧左右而言他,邏輯思維能力有限,但那是之前的gpt-3.5版本。
gpt-4和gpt-3.5在各項考試中的成績對比
根據官方的宣傳,新推出的gpt-4在各項考試中的成績遠超gpt-3.5,在很多專業和學術上的表現達到人類水平,甚至在GRE(美國研究生入學考試)的兩科中已經達到頂尖大學生水準。
於是小編開始好奇:它能征服GRE,能征服我們物理所的考研題嗎?
物理所碩士考試科目
物理所的考研專業課是國科大自主命題。根據往年的情況,專業課單科分數130左右(滿分150分)才能有一定把握考上。
題目來源:國科大官網
由於不同專業的考試要求不同,這裡我們就以四大力學中最難的量子力學作為基準來考察一下新版Chatgpt的物理水平。至於為什麼要選量子力學,因為普物對它已經構不成威脅,測不出它的能力上限,是時候讓Chatgpt見識一下真正的力量!
溫馨提示:看不懂也不影響你直接拉到文末看結論。
01
量子力學第一題
第一問
第一題的三問都是量子力學基礎內容,屬於送分題,但從這個答案就可以看出ChatGPT是有量子力學功底的:能充分理解我給出的題目,思路清晰正確,加十分!
第二問
本題Chatgpt用的方法很奇怪。因為題目沒有給出束縛態的具體形式,也就沒有值得討論的對稱性,隻能勉強給一點分。
實際上定態下力學量的期望值不隨時間改變,具體到位移就是d/dt=0,用海森堡運動方程可以導出
=m*d/dt=0,因此的動量期望為0。
第三問
本題其實隻需要將含時薛定諤方程的解代入定態方程,求出其對時間的導數為0就可以,Chatgpt卻大費周章地去求含時薛定諤方程的解,實際上這個結論完全可以直接使用。
而且Chatgpt還差臨門一腳:證明對時間的導數為0,不過影響不大。
第一題得分:22分。
02
量子力學第二題
第一問
首先是本征態沒問題,但歸一化錯。積分的結果應該用delta 函數,否則對1進行全空間積分就是正無窮。但如果我們跟著Chatgpt的錯誤思路繼續做下去,就會看到最後一步化簡時AI給出這樣的結果:
這個式子的值應當是1/π。居然會出現這種低級錯誤,Chatgpt你還是訓練的不夠啊!
第二問
第二問用泰勒公式就扯遠。本題兩個結論之間是厄米共軛的,隻需證明其中之一。解題思路是在兩項中插入一個完備集,運算後積分即得結論。
第三問
第三問的過程乍一看還是很合理的,公式本身也沒錯,但AI卻套錯公式導致結果錯誤。正確的公式如下:
第四問
第四問Chatgpt的思路沒錯,隻需要將第三問結果平方就能得到結果,但第四問要用到第三問的結論,所以也跟著錯,大概可以酌情給點思路分。
第二題得分:10分。
03
量子力學第三題
第一問
來看看Chatgpt對角動量的理解。
看起來Chatgpt並不懂角動量,說一堆廢話以後算出來一個0,正確的解法應該把球坐標代入波函數,然後整理成球諧函數的形式算出角量子數l=1。
如果總角動量為0,第二問的結果直接就是0,就不需要算。
第二問
果然,Chatgpt廢話一大圈以後還是得出0,第一問總角動量算錯,第二問算分量肯定會算錯。
至於第三問,AI廢話說到一半就報錯,所以我就不上截圖。
第三題得分:2分。
04
量子力學第四題
第一問
第一問的解題思路是對的,然而Chatgpt一上來就把哈密頓量給寫錯,少泡利矩陣裡的1/2,因此最後的本征值裡多個2,且結果沒有歸一化,但除此以外都是對的。
第二問
第二問是純粹的本征值計算問題,Chatgpt的思路非常標準,前期計算也是正確的,但最後算行列式時直接把兩個2c_0給扔掉,導致兩個能級結果錯誤。雖然沒能全對,能做到這一步已經很厲害。
第四題得分:25分
05
量子力學第五題
第一問
第一問是送分題,隻要把定態的動量和位移的不確定度代入不確定性關系,由a^2+b^2≥2ab就可以導出最小值,Chatgpt的思路雖然復雜點,但也沒問題,然而它又又又又算錯:
但我們稍加計算就能看出這裡的化簡結果應當是:
第二問
第二問變分法,Chatgpt一上來就把歸一化常數算錯:
但人類也會犯這種低級錯誤
很明顯,這裡AI把平方漏掉,導致後續計算全部錯誤。不過AI給出的過程很標準,條理清晰,值得學習。
第三問
本題直接套升降算符的性質:a_- |0>=0,|1>=a_+ |0>,由第一個式子確定基態波函數,再用第二個式子算出第一激發態。AI用的也是這個思路,但在下面這一步求導的時候算錯。
第四問
題目已經給出微擾的矩陣形式,直接算特征值就可以解決問題,但Chatgpt又把簡單的行列式算錯,算出1*1=2的驚天妙手:
正確的久期方程應該是-λ^3+λ=0,而不是其給出的-λ^3+2λ=0。由久期方程解出0和±1三個特征值,因此在微擾下三重簡並消除,能級分裂成與特征值一一對應的三個。
第五題總分:18分。
ChatGPT總得分:77分/150分,距離130分的目標還有億點差距,建議第二年再戰哦!
此外,我還讓Chatgpt做2021年的國科大量子力學考研題,它也拿到約80分,而且如果能幫它稍微修正一下計算過程中的錯誤,就能達到約100分水平。毫不誇張地說,Chatgpt的量子力學已經達到物理系本科畢業生水平。
06
文獻總結
為進一步測試gpt-4的學術能力,我又找一篇文獻來測試gpt-4的文獻閱讀能力,下面是一段由其生成的文獻內容總結。
論文鏈接
Chatgpt翻譯總結的錯誤較多,比如溫度的單位mK被翻譯成毫克,也無法理解一些學術名詞,比如1K池(4He-1K-stage)被翻譯成1K級,不認識卡皮查熱阻等,參考價值有限。看來學術名詞翻譯即使對AI來說也不是一件容易的事。
但如果讓Chatgpt以英文輸出,則其總結文獻內容的能力十分強大,語言流暢邏輯清晰,不過仍會遺漏一些重要信息,所以還不能依賴AI來看文獻。
目前將論文輸入Chatgpt比較麻煩,很多時候不如直接看摘要,尚不能為我們閱讀文獻提供實質性的幫助。如果後續能根據圖片或者pdf直接給出主要內容,將是其能力的又一次飛躍。
07
新舊版本對比
最後我又對比一下gpt-3.5和gpt-4的量子力學能力。面對一維諧振子問題,gpt-4能完美解決,但gpt-3.5就不行。
測試內容相關 來源:窩湖邊的
不過,面對更復雜的場論中氫原子狄拉克方程與精細結構問題,即使是gpt-4也無能為力,隻能在說一堆廢話後報錯,看來場論的難度已經超過它的能力上限。綜合來看,gpt-3.5對量子力學僅有大概解,但gpt-4對量子力學有著深入的解,水平遠超gpt-3.5。
gpt-3.5和gpt-4的對比,第一張截圖是gpt-3.5,後三張是gpt-4。
總結
經過測試,gpt-4對量子力學的理解相當深入。它解題的思路清晰準確,但計算能力較差。由於語言模型底層邏輯的限制,它在解題過程中總是犯低級計算錯誤,因此拿不到高分,也就考不上物理所。但我認為它的總分過國傢線不成問題。
雖然ChatGPT很難考上物理所,但它的量子力學水平已經接近物理專業的本科畢業生(計算能力除外),令人不得不承認它的強大。不僅如此,從小學中學到本科的題目都可以讓ChatGPT來解,其不但能提供詳細的思路和過程,還能針對你提出的問題加以講解,善加運用完全可以成為學生的好幫手。
最後,歡迎大傢報考中科院物理所哦!
註1:ChatGPT網頁端目前未開放圖片輸入,本文並非以圖片,而是以輸入符號文字的形式來向ChatGPT提問的。展示的題目圖片是為方便讀者閱讀。
註2:小編沒有考研經驗,給分比較隨意,本文不構成任何考研建議。