聖母院、佛像和名畫,還有什麼是AI不能修的?


人工智能,讓我們穿越時空。如何利用數字化之力讓文化遺產更好地“活”起來,成不少人關心的問題。數字技術和文化遺產的深度融合,一是可以強化對文化遺產存量破損的針對性修復與增量破損的前瞻性預防,讓文化遺產得到妥善保護、實現數字永生;二是可以將文化遺產跟大眾以多重形式連接,讓人們可以近距離接觸、解和感受文化遺產的魅力。



AI 還原古代遺跡,帶你穿越時空

AI 技術在古老建築修復領域主要涉及:需要高精度圖像作為基礎。某些破損及裂縫地方,研究人員還要進行樣本采集和標定,以獲得足夠的樣本產生高精度的影像 3D 模型。


Design by:NeoMam 工作室

當數據足夠時,AI 就會進行數字化的虛擬修復,在殘存的建築圖像上生成 3D 的修復效果。目前,在文物修復這一領域。解決方法包括很多算法,比如視覺特征抽取與索引、相機參數恢復、幾何模型網格生成、深度神經網絡 2D 或 3D 模型訓練、紋理合成等等。


無論是有破損的長城,還是大火後的巴黎聖母院,恢復前百年之前的風貌,是 AI 的觸角伸入文化領域的一大征兆。英特爾也與武漢大學進行合作,用無人機對長城進行全角度高精度圖像采集,生成 3D 模型後,利用人工智能技術進行自動化缺損檢測,對長城進行數字化虛擬修復。




長城數字化模型虛擬修復,當一段長城的損毀部位識別出來之後,人工智能就會進行數字化的虛擬修復,在損毀的模型上生成 3D 的修復效果和磚墻紋理,並獲得物理修繕所需的工程量的數據,作為對物理修繕的參考建議。


AI 助力重建巴黎聖母院

在巴黎聖母院閣樓被發現起火 1 小時後火勢迅速蔓延,火焰從教堂兩座鐘樓間竄出,隨後不久塔尖便燒毀坍塌,卡西莫多的鐘樓和玫瑰花窗不復存在。大火燒 4 個多小時,直至當晚 10 時許,火勢才逐漸減弱。一場突如其來的大火讓這座 850 多年的世界瑰寶付之一炬。



去年 11 月去世的瓦薩大學(Vassar College)藝術學院副教授 Andrew Tallon,在其生前便完成對巴黎聖母院的掃描工作,各個角度的建築全景、3D 和細節圖片。大火過後,消逝的巴黎聖母院將在數字世界裡永存。




用於三維存檔的技術叫做三維激光掃描/激光雷達,可以精確地(1-2 毫米精度)、快速地(每秒測量數十萬個點)獲取建築的三維幾何信息。獲得的數據被稱為激光掃描數據或點雲數據。


Design by:Andrew Tallon



頌揚中國皮影戲的 AI 實驗

在 Shadow Art 中,您可通過在筆記本電腦或手機攝像頭前擺弄手,形成十二生肖動物的手影。如果手影正確匹配,系統便會將手影轉換成相應動物的動畫影象。該裝置利用 TensorFlow 幫助人們探索皮影戲藝術。


Design by: Miguel de Andres-Clavera

模型將輸入圖像(用戶的手部圖像)與給定的一組類模板進行對比,以此判斷最相似的圖像。借助此方法,我們可以自由地為每個類添加或移除圖像模板,甚至可以在不重新訓練模型的情況下引入新的類。




鑒於分類結果,利用從模型返回的置信度值的閾值來判斷手勢是否與動物陰影匹配。與直接挑選置信度值最高的手勢相比,這樣做的結果更為直觀。知道每位用戶預期的動物之後,接下來就是將用戶輸入的手影與結果關聯,並將手影轉換為動物形象,然後再播放預先錄制的陰影轉化為活體動物的動畫,如此即完成一次試驗。


為確保捕捉的形狀順利變形為動物,我們從以下兩種陰影中抽取輪廓:輸入的手影和目標動物陰影。然後我們進行優化,以在手影輪廓(源輪廓)和動物陰影輪廓(目標輪廓)中找到正確匹配的每個點,接著執行步插值,以將源輪廓轉換為目標輪廓。





AI 技術助力還原雕像

經過測算大足寶頂山千手觀音像有 830 隻手,其中有 200 多隻是破損的。從 2011 年到 2014 年,楊溯跟著團隊一起對這些破損的觀音手進行虛擬修復,根據千手觀音像左右手的空間對稱關系去判斷缺失手指的幾何形態,經過三年時間,他們虛擬修復幾十隻觀音手,為千手觀音像的實體修復提供重要參考。


楊溯開始對安嶽石刻進行虛擬修復,與大足石刻不同,始於南朝,興盛於唐宋的安嶽石刻分散在四川安嶽縣城境內,加上交通閉塞,很多佛像在歲月侵蝕下損害嚴重。


想還原佛臉的樣貌,需要定義更加準確的空間信息,即用人工智能技術,自動化地提取佛像的面部特征。和人臉識別技術類似,楊溯的佛臉識別模型需要大量的數據樣本進行學習。為此,楊溯尋找安嶽石刻保存完好的佛頭為它們留下肖像照。每張都提取 68 個標記點,用來描述佛像的所有面部特征,他把這些面部數據信息稱為“佛臉身份證”。如今,這些面部特征信息能夠為虛擬修復提供參考。




滑動查看更多

計算機基於數百個佛臉的采集數據精準提取佛的臉型、眉毛、眼睛、鼻子、嘴巴等特征,依據左側完好的臉部,對右臉受損面部進行虛擬修復。


Design by:楊溯


AI 修復世界名畫

倫勃朗的“殘缺”名作《夜巡(The Night Watch)》在人工智能技術的支持下終於得以修復“完整”。盡管該畫作是世界古典油畫三大瑰寶之一,命運卻是十分坎坷,被“冷落”、被“切割”、被“劃傷”、被“潑酸”......似乎都預示此後修復的不易。


1715 年,該畫作被遷移至阿姆斯特丹市政廳,由於畫幅尺寸太大無法掛入門廳中,畫作的上下分別被切割 22 厘米、12 厘米,左右分別被切割 60 厘米、7 厘米。從那以後它便殘缺不全,而且畫面整體也因此失衡。如下圖所示。



博物館決定將畫作恢復還原至未切割前的尺寸。通過保存下來的原畫部分、17 世紀由 Gerrit Lundens繪制的完整原畫復制品和人工智能技術來實現修復。修復過程中,一種被稱為卷積神經網絡(convolutional neural networks)的人工智能算法被用來幫助計算機深度理解圖像,在逐像素重建丟失的部分時糾正這些缺陷。更重要的是,計算機還能學習倫勃朗的筆觸,以確保最終的呈現盡可能接近原作。


Design by:Rob Erdmann

荷蘭國傢博物館館長 Taco Dibbits 大致介紹這一過程:“我們做三種算法,第一種用於篩選復制品的透視變形並糾正它們;第二種用於識別原件的配色並投射生成缺失的部分;第三種是模仿倫勃朗的筆觸和繪畫技巧。最終得出一件盡可能接近於完整原作的計算機復制版《夜巡》,我們將其按比例打印到畫佈上,再無縫拼貼到原畫上,非常壯觀。


畫作修復完成之後,可以看出隊伍前行的方向偏離中心位置,朝向偏左的空白空間,而這賦予整幅畫更為強烈的動勢,這才是倫勃朗的本意。此外,更多的細節被填補出來,例如畫面最左側的兩個民兵、畫面最右側民兵缺失的部分頭盔等。



滑動查看更多

編輯| 王辰梅

審核| 江煒韜

參考資料

1.https://mp.weixin.qq.com/s/aIVVVK_2XKinbFuDcHyONQ

2.https://mp.weixin.qq.com/s/MDTyeSwxn_pfPWbggRFAVw

3.https://mp.weixin.qq.com/s/DOv72VM8I-k1JxA0bgmxQw

4.https://mp.weixin.qq.com/s/Mwyp-8sH0kGUpGBbSLHUSQ

5.https://mp.weixin.qq.com/s/P_bfM-q3wM3aGCjdlN1g3Q


相關推薦

2023-04-16

2023年4月15日是巴黎聖母院大火四周年。這座大教堂的修復工程仍在緊張進行。記者當天看到,巴黎聖母院塔尖基座的安裝現已進入收尾階段。這個基座據稱重達80噸。塔尖基座的安裝完成後,在大火中被燒毀的塔尖將得以被重新

2023-04-07

巴黎聖母院自2018年大火後宣佈關閉進行重建修復。近日,巴黎聖母院的修復工作按照法國總統馬克龍在火災發生後設定的目標進行,同時要趕上原定於2024年夏季舉行的巴黎奧運會。巴黎聖母院的重建進展順利,預計能夠按計劃

2022-09-18

當地時間9月16號,法國巴黎聖母院修復項目負責人宣佈,他們已經開始尖塔及下面的木質框架等巴黎聖母院最具標志性部分的重建工程,修復現場也將首次向公眾開放。據介紹,為重建巴黎聖母院的尖塔及其下面的木制框架,建

2023-12-14

快科技12月14日消息,據法國當地媒體報道,負責巴黎聖母院火災修復工程的機構負責人表示,這一地標性建築預計明年12月8日向公眾開放。屆時,修復後的巴黎聖母院將配備一套獨特的消防系統,包括一個可容納625立方米水的

2024-09-12

快科技9月12日消息,據法國RCF廣播電臺報道,巴黎聖母院在經歷大火和漫長的修復後,將於2024年12月8日重新對公眾開放。據悉,法國政府總共耗資近7億歐元(約54億元人民幣)修復這座古建築。不過需要註意的是,重新開放並

2022-09-22

2019年一場大火燒毀巴黎聖母院,至今還未開放。今天,英國科學傢創建一個以蜜蜂為靈感的3D打印無人機艦隊,或許在未來重建中能夠有所幫助。3年前,一場大火摧毀無數人心中的聖地——巴黎聖母院。那場大火整整燒14個小時

2023-03-14

站長之傢(ChinaZ.com) 3月14日 消息:據國外媒體報道,荷蘭海牙莫瑞泰斯皇傢美術館日前曝光的一幅《戴珍珠耳環的少女》畫作引起爭議。據解,這幅畫作是由藝術傢Hrag Chanchanian和科學傢Ben Snell共同構思,使用機器學習技術將 6 萬

2023-03-14

法新社近日報道稱,荷蘭海牙莫瑞泰斯皇傢美術館一幅通過人工智能技術制作的《戴珍珠耳環的少女》畫作引發爭議。《戴珍珠耳環的少女》是17世紀荷蘭畫傢約翰內斯·維米爾的代表作,原藏於海牙的莫瑞泰斯皇傢美術館。這

2024-02-13

有的是令人扶額、令人汗顏的。例如:“人工智能對社會有什麼好處?”不能問,因為——討論這個問題可能會傳播偏見,低估那些可能因人工智能進步而面臨失業或隱私問題之人的觀點balabala。查查蘋果的股價吧?拒絕的理由

2022-08-07

空調一樣舒服。要知道,沙特這地兒可不涼快吶。其他餅還有什麼 300 米高的體育場、高科技遊艇碼頭、空中垂直農場啥的。反正按他們說的,線之城沒有污染和交通事故,業主都是世界上最優秀最聰明的人,在再配上世界頂尖

2024-02-23

論都暈過去,我就是為省點錢你們都想到哪兒去!更別提還有一些AI出的圖的紕漏,比如這個小孩吃意大利面的廣告,小孩子的下嘴唇都要和AI融為一體。看起來非常恐怖。這個李子園的抄襲廣告,基本上一模一樣。而且你都用AI

2024-02-23

間大部分是錄播,為讓用戶快點下單,直播間隨時告訴你還有5分鐘就下播,還有最後一個名額,但其實再過1個小時,李一舟還在直播。甚至有消費者在社交平臺上表示,每次刷到他直播,都會說是最後一天199。199元的課程可以

2022-09-10

構要求特斯拉改進Autopilot?有什麼是必須改變的?特斯拉還有什麼需要調整的?這些改進隻影響在德國、歐洲或世界各地銷售的特斯拉嗎?這些問題都還沒有答案。事實上,特斯拉的司機輔助駕駛系統在各個地區並非完全相同。

2022-10-15

當地時間10月14日,英國倫敦國傢美術館,“停止采石油(JustStopOil)”組織的兩位環保人士幹出一件“大事”:她們向梵高名作《向日葵》潑灑番茄汁,還當場發表演講。當時,兩人突然脫掉外套,露出“JustStopOil”字樣的T恤,將