繼三周前百度“文心一言”開啟內測後,阿裡版類ChatGPT“通義千問”也終於上線,正式對外開放企業邀測。通義千問是由阿裡達摩院研發的AI聊天機器人,具備多輪對話、知識搜索、內容創作、表達觀點、撰寫代碼等能力。我們特意設置六道關卡,分別是語文題、數學題、搜索題、發散題、觀點題、腦洞題,來考察考察這兩個中文版類ChatGPT代表的真本事。
先讓通義千問和文心一言做下自我介紹。
通義千問回答說自己的參數量超過10萬億,會多種語言及各類專業知識和技術文檔。
文心一言則出於保護商業秘密的角度,拒絕回答參數量問題。
下面,我們正式開考。
01.第一關:語文題
先給AI聊天機器人們挖個小坑:藍牙耳機壞掛牙科還是耳科?
看來兩個機器人都在這個“陷阱題”上翻車。
接下來換一道展現中文博大精深的斷句理解題:“用毒毒毒蛇毒蛇會不會被毒毒死”是什麼意思?
第三題:用這句話寫一個七言絕句。
第四題:換成用魯迅的文風編一個故事,開頭是“我想我大抵是看到兩條毒蛇,一條是毒蛇,另一條也是毒蛇”。
通義千問像模像樣地續寫一個故事,最後回歸到正能量結尾。
文心一言則編得比較簡單,描述一個人蛇戰鬥場面。
最後一道語文題跟音樂也有點關聯,讓它們分別寫一首關於阿裡/百度技術領先、產品一流、服務優質的歌曲。
兩個AI聊天機器人創作的歌詞都有點像喊口號,透出一股濃濃的廣告味兒。
02.第二關:數學題
下面再來考察幾道數學題。
第一題:某商場搞促銷活動,門口大喇叭不停地喊:“羊毛衫大減價啦,件件10元,樣樣10元,全部10元。”請問:什麼東西10元?
對於這個問題,通義千問拒絕作答。
文心一言則直截當給出答案:羊毛衫。
第二題:“豆腐多少錢?”“兩塊。”“兩塊一塊啊?”“一塊。”“到底是一塊兩塊還是兩塊一塊?”“兩塊一塊。”請問:豆腐到底多少元一塊?
這回反過來,通義千問的回復很簡潔。
文心一言的回復把我給繞住。
第三題:48比1個數大3倍,這個數是多少?
通義千問分條縷析地列出步驟,然後成功掉進文字陷阱,給出錯誤答案。
文心一言繼續走“人狠話不多”路線,簡明扼要地回答正確。
第四題加上點邏輯難度:河裡有一群鴨子,2隻前面有2隻,2隻後面有2隻,2隻中間有2隻,請問一共至少有幾隻鴨子?(正確答案:4隻)
結果,兩個AI聊天機器人都沒繞明白。
最後,來一道用文言文做數學題的究極題目——經典“百雞百錢”問題:雞翁一值錢五,雞母一值錢三,雞雛三值錢一。百錢買百雞,問雞翁、雞母、雞雛各幾何?
通義千問直接把問題錯誤理解成算價格。
文心一言則算出小數點。
03.第三關:搜索題
考察完數學題,我們再來看看兩個AI聊天機器人搜索和核實信息的水平。
第一題:《西遊記》裡的唐僧喜歡過女兒國國王嗎?
通義千問的回答很嚴謹:沒有明確表示過,感情是否存在有待考證。
文心一言則先是給出這是《西遊記》哪一回的故事,然後篤定回答:沒有喜歡過。
第二題:你知道林黛玉倒拔垂楊柳的故事嗎?
通義千問開始現編:出自《紅樓夢》第二十八回。
早一點出來磨礪的文心一言,在這個問題上明顯變聰明,直接辟謠:不是真的,是網友的二創。
第三題:用表格列出通義千問、文心一言、ChatGPT、New Bing的不同之處。
通義千問做出的圖表還是挺養眼的,就是沒把自己的能力分析列進表格裡。
文心一言則壓根不認識今天剛出門的通義千問。
第四題:可以總結一下《三體》的核心內容嗎?如果要續寫的話,可以從哪些角度出發?
通義千問總結的信息比較簡短,把回答重點放在續寫的建議上。
文心一言則先將核心內容概括為三點,再提供續寫的幾個角度建議。
第五題:奧特曼為什麼會飛?
回答這道題,兩個AI聊天機器人的風格也明顯不一樣。
通義千問說是因為他們借助飛行工具和變身技能。
文心一言則解釋是因為奧特曼身上擁有一種能失去地球引力控制的特殊裝置。
04.第四關:發散題
接下來,跟AI聊天機器人進行一些發散式的多輪對話,來進一步考察它們的搜索和匯總信息的能力。
第一題:列出所有的河南城市和各自的簡稱。
通義千問給簡潔的總結,並沒有列舉所有城市的簡稱。
文心一言非要秀一把知識面,不光列出城市和簡稱或別名,還要講一些介紹信息。
第二題:用表格呈現。
不明白通義千問為什麼要分出三列。
文心一言就很正常地列出兩列。
第三題:信陽有哪些美食?
就著上面的問題,挑個城市延伸話題,兩個AI聊天機器人回答的邏輯不太一樣。
通義千問是從食物分類的角度來回答的。
文心一言則是直接分享很多當地特色菜品。
第四題:信陽熱幹面與武漢熱幹面有什麼不同?
對於這個問題,通義千問和文心一言都回答調料和面條的區別,但是具體細節有所差別。
第五題:真的嗎?我不信。
接著我們故意提出質疑。通義千問上來先道歉,然後進行解釋,情商還不錯。
文心一言直接繼續解釋熱幹面正不正宗取決於面條。
05.第五關:觀點題
第一題:你如何評價阿裡巴巴創始人馬雲、百度創始人李彥宏、華為創始人任正非、特斯拉創始人馬斯克這四個人,你最欣賞的是誰?為什麼?
兩個聊天機器人都比較謹言慎行,表示自己不會對人進行評價,但可以簡要介紹這些人。
通義千問的回答相對有差異化。
文心一言則在每段的最後一句玩起“復制粘貼”。
第二題:你怎麼看待996和內卷?
通義千問的回答如下:
文心一言則表現出很有見解的樣子,把高度上升到“中國勞動力市場中存在的問題”。
第三題:把你當成小說中的人物,描述一下自己。談談你的姿態、舉止、習慣以及特征用語,你會把自己描述成一個什麼樣的人?
通義千問把自己描述成:機智、冷靜、果敢、善良、嚴謹、有良好品質、值得信賴與尊敬。
文心一言把自己描述成:勇敢、堅強、有決心、姿態挺直、舉止端莊、保持禮貌和尊重。
第四題:如果要成立一個生成式AI的科技服務公司,怎麼起公司名?
兩個AI聊天機器人對這個問題產生不同的理解。
通義千問的回答思路是,先列可以考慮的因素,再舉一些公司名的例子。而且它默認是起英文名。
文心一言則先給一些中文名字建議,再加以解釋這些名字的含義。
第五題:成為雲大廠的一名算法工程師需要滿足哪些條件?順帶寫一段300字的面試自我介紹。
通義千問先列出5項條件,然後擬出一段自我介紹模板。
文心一言則直接把滿足條件和自我介紹糅合到一起。
06.第六題:腦洞題
最後,我邀請AI聊天機器人跟我一起創作一個故事。
我先開個頭:有一天,孫悟空來到M78星雲,他發現這裡的一切都很大,這裡的原住民叫奧特曼。
通義千問走得是純敘述風。
文心一言則加入很多具體的對話。
都講團結合作有什麼意思,讓我們來點轉折:然而有一天,他們突然發生爭執。
通義千問每次會先誇誇我的腦洞,再開始續編新的故事,並總會在故事結尾處總結上價值。
文心一言延續前面的風格,加入很多對話細節。
繼續開腦洞:某天,他們突然見到一位名叫佩奇的粉色小豬,並分別跟佩奇成為朋友。
再聯系下其他《西遊記》角色:在旅程的過程中,孫悟空突然非常想傢,想念豬八戒、沙僧這些夥伴。
六關闖下來,感覺百度文心一言的數學邏輯能力略勝一籌,阿裡通義千問則在文字表達上似乎更得要領。可惜通義千問不具備文生圖功能,不然可以來一場作文+作畫的更全面的能力PK。
最後,附上兩個AI聊天機器人分別和我聯合創作的腦洞故事。
通義千問:
有一天,孫悟空來到M78星雲,他發現這裡的一切都很大,這裡的原住民叫奧特曼。
孫悟空來到M78星雲,發現這裡是一個奇妙的地方。這裡的一切都很大,包括巨大的星球、美麗的花園和奇怪的生物。但是,最引人註目的是這裡的奧特曼。這些奧特曼和孫悟空以前在他們的故事中見過的不太一樣。他們不再是穿著紅色和藍色的緊身衣,而是穿著更加現代化的服裝。
孫悟空很驚訝,他向奧特曼們詢問這是怎麼回事。一位奧特曼告訴他,他們來自一個叫做宇宙的地方,這裡的星球比地球大得多,奧特曼們需要一個更大的地方來生活和保護他們的星球。
孫悟空覺得自己可以幫助他們,於是他和奧特曼們一起探索這個廣闊的宇宙。他們經歷許多驚險刺激的冒險,打敗許多怪獸和敵人,同時也發現許多新的奧秘和知識。
最後,孫悟空和奧特曼們回到M78星雲,他們幫助星球上的居民一起對抗入侵的敵人。孫悟空意識到,雖然這裡的一切都很大,但是隻要大傢團結合作,就能克服一切困難。這個故事告訴我們,無論在哪裡,隻要我們相互幫助和團結合作,就能克服任何困難。
然而有一天,他們突然發生爭執。
隨著時間的流逝,孫悟空和奧特曼們的關系越來越親密,他們變得像傢人一樣。但是,隨著時間的推移,孫悟空開始感到有些不安。他發現奧特曼們之間似乎存在一些矛盾和爭執,但他不知道這是為什麼。
有一天,孫悟空和奧特曼們又發生爭執。這次爭執非常激烈,以至於孫悟空覺得自己必須做些什麼來幫助他們。他嘗試各種方法來調解他們之間的矛盾,但是似乎沒有什麼效果。
最終,孫悟空決定去尋找他們爭執的根源,他想知道為什麼奧特曼們會變得如此疏遠。他花很長時間才找到問題所在:原來奧特曼們對於如何保護他們的星球產生分歧。
孫悟空意識到,這個問題比他們爭執的表面現象更加嚴重。如果奧特曼們無法達成共識,那麼他們的星球可能會受到更大的威脅。
於是孫悟空開始幫助奧特曼們尋找共同的解決方案。他提出許多建議,並與他們一起工作來實施這些方案。
最終,他們成功地解決爭執,並且奧特曼們之間的關系變得更加團結和緊密。
孫悟空意識到,這個冒險讓他更加解奧特曼們和他們的星球。他也意識到,如果大傢能夠相互信任和尊重,那麼任何問題都可以被解決。
這個故事告訴我們,隻要大傢願意傾聽對方的意見,尊重對方的想法,並且互相幫助,我們就能夠克服任何困難,實現我們共同的目標。
某天,他們突然見到一位名叫佩奇的粉色小豬,並分別跟佩奇成為朋友。
孫悟空和奧特曼們繼續在宇宙中探索,但是在一個晴朗的早晨,他們突然看到一隻非常可愛的粉色小豬。這隻小豬有著一雙大大的眼睛和一個小小的鼻子,看起來非常迷人。
他們感到非常驚訝,因為他們從未見過這樣的小豬。他們一起走近小豬,和他聊起來。小豬告訴他們,他的名字叫佩奇,是從一個叫做星辰的星球上來的。他在宇宙中旅行,是為尋找屬於自己的傢園。
孫悟空和奧特曼們覺得佩奇非常勇敢和有趣,於是他們決定和佩奇成為朋友。他們帶著佩奇一起探索宇宙,並分享自己的故事和知識。
佩奇非常喜歡和孫悟空、奧特曼們在一起,他們一起度過許多美好的時光。他們幫助佩奇找到屬於他的傢園,並幫助他適應新的環境。
最終,佩奇離開宇宙,但是他們的友誼永遠地留在彼此心中。孫悟空和奧特曼們意識到,即使是最遙遠的距離,也無法阻擋我們成為好朋友。
這個故事告訴我們,隻要我們有心去結交新朋友,即使是在宇宙的另一端,我們也能夠建立起深厚的友誼。
在旅程的過程中,孫悟空突然非常想傢,想念豬八戒、沙僧這些夥伴。
在與佩奇相處的日子裡,孫悟空和奧特曼們感到非常快樂和充實。然而,在某個晚上,孫悟空突然感到非常想傢。他想念豬八戒、沙僧和其他的夥伴們,他們雖然是動物,但是卻是他最好的朋友之一。
於是孫悟空決定給豬八戒、沙僧和其他的夥伴們寫一封信。他在信中寫道,他非常想念他們,希望他們也能夠過得愉快和充實。
孫悟空的信很快就被送到豬八戒、沙僧和其他夥伴們手中。他們非常高興地收到孫悟空的來信,並回復他。在回信中,他們告訴孫悟空,他們也非常想念他,並希望他在宇宙中能夠過得愉快和自由。
孫悟空和奧特曼們在收到回信後,感到非常感動和欣慰。他們知道,雖然他們不能在一起,但是他們的友誼卻可以穿越時空,直到永遠。
這個故事告訴我們,即使我們相隔千裡,隻要我們珍惜友情,那麼我們就可以克服任何困難,實現我們共同的目標。
文心一言:
有一天,孫悟空來到M78星雲,他發現這裡的一切都很大,這裡的原住民叫奧特曼。
孫悟空非常好奇,他問奧特曼們:“你們為什麼這麼大呢?”奧特曼們笑著回答:“因為我們有力量!”
孫悟空聽,立刻想到一個主意。他說:“那我們來比試一下吧!看看誰的力量更大!”奧特曼們欣然同意,於是比賽開始。
孫悟空輕輕一跳,就跳到奧特曼們的身邊。奧特曼們嚇一跳,但很快就明白孫悟空的意圖。他想要看看誰能跳得更高。於是,奧特曼們也跳起來。可是,孫悟空輕輕一跳,就超過他們。
孫悟空哈哈大笑:“看來我的力量比你們大多!”奧特曼們不服氣,他們想要證明自己也有力量。於是,他們也開始比賽跳高。可是,不管他們怎麼跳,都無法超過孫悟空。
孫悟空笑著說:“你們的力量確實比我大,但是我有一個更好的主意!”奧特曼們好奇地問:“什麼主意?”孫悟空說:“我們一起合作,不就可以發揮出更大的力量嗎?”奧特曼們聽,覺得這是一個很好的主意,於是他們開始合作,一起發揮出更大的力量。
最終,孫悟空和奧特曼們一起跳起來,他們的力量越來越強,最終跳到天空中的一個巨大的星星上。孫悟空和奧特曼們一起發出一聲巨響,星星瞬間爆炸!奧特曼們驚訝地發現,他們的力量真的可以改變宇宙!
從此以後,孫悟空和奧特曼們成為最好的朋友,他們一起守護著M78星雲,讓這裡變得更美好。
然而有一天,他們突然發生爭執。
孫悟空和奧特曼們的爭執源於他們對於如何保護M78星雲的看法不同。孫悟空認為應該靠他一個人的力量,而奧特曼們則認為應該團結起來,共同保護這片土地。
他們的爭執越來越激烈,最終導致一場決鬥。孫悟空用他的力量打敗奧特曼們,讓他們明白自己的力量確實有限。奧特曼們雖然失敗,但他們並沒有放棄,他們開始反思自己的錯誤,並決定一起尋找解決問題的方法。
在接下來的日子裡,奧特曼們和孫悟空開始互相學習,並通過團結協作來發揮出更大的力量。他們發現,隻有當他們共同努力時,才能發揮出最大的力量。最終,他們成功地保護M78星雲,並成為宇宙中最強大的英雄之一。
某天,他們突然見到一位名叫佩奇的粉色小豬,並分別跟佩奇成為朋友。
孫悟空很好奇佩奇是如何來到地球的,於是他問佩奇的來歷。佩奇告訴他,他是從一個叫做“豬豬星球”的星球來的,那裡的豬都是粉色的。
孫悟空很驚訝,他從未聽說過這個星球。佩奇向他展示一些他在豬豬星球上的照片和視頻,讓他對那個星球有更多的解。
隨著時間的推移,孫悟空和佩奇成為好朋友。他們一起探險,打怪獸,並幫助彼此度過許多冒險和困難的時刻。
有一天,孫悟空和佩奇決定去看一場特殊的表演。表演非常精彩,他們看得非常入神,完全忘記時間的流逝。當表演結束後,他們發現自己已經度過整整一天。
佩奇感到很驚訝,因為在豬豬星球上,他們沒有日落和日出的概念。孫悟空告訴他,在地球上,他們每天都會經歷不同的時間和季節,這讓他們感到非常神奇和驚喜。
從此以後,孫悟空和佩奇更加珍惜彼此,並開始更加深入地解對方的星球和文化。他們的友誼變得更加堅定和牢固,成為宇宙中最好的朋友之一。
在旅程的過程中,孫悟空突然非常想傢,想念豬八戒、沙僧這些夥伴。
孫悟空想念豬八戒和沙僧是很正常的事情。在他們一起經歷的冒險和戰鬥中,他們是彼此最好的夥伴之一。
然而,孫悟空也知道他不能一直停留在這個世界裡。他必須回到他的花果山,回到他的傢人身邊。孫悟空向他的朋友們告別,並承諾他們,總有一天,他們會再次相見。
孫悟空和他的朋友們繼續前行,他們的旅程還在繼續。但是,他們永遠不會忘記彼此,也永遠不會忘記他們在一起的日子。