聲明:本文來自於微信公眾號CSDN（ID:CSDNnews）)，作者:Joseph Sifakis，授權站長之傢轉載發佈。
我不想特意去討論計算機和人工智能所帶來的可能性。它們能為人類帶來的好處可謂數不勝數，而且大傢都耳熟能詳。媒體也經常討論計算機和人工智能給我們的生活、工作和學習方式帶來的根本變化。流程和服務的自動化為人們帶來效率的優勢。在沒有直接人工幹預的情況下，我們便能以最佳方式對能源、電信和運輸等部門的資源進行“實時”控制，從而實現規模經濟和質量經濟。
接下來，我想要深入討論的是計算機和人工智能所帶來的風險，這些風險有些是假想的，有些則是實際存在的。
假想的風險
最近，關於計算機“超智能”的神話越來越多。根據其中一個版本，計算機智能最終將超過人類智能，我們最終可能會成為機器的寵物。
史蒂芬·霍金、比爾·蓋茨和埃隆·馬斯克等人都支持這類觀點。有些人受到雷蒙德·庫茨魏爾的影響，認為技術奇點即將到來，當機器的計算能力超過人腦的計算能力時，技術奇點就會出現。
顯然，這些觀點缺乏嚴肅性，是站不住腳的。再強大的機器也不足以戰勝人類的智慧。但他們的這些想法在媒體中找到滋生的溫床，被不加批判地廣泛傳播，在很大程度上引起公眾的共鳴。
我認為科學界應該對這種蒙昧主義和信口開河的混雜產物做出反應，並基於科學和技術標準，對人工智能的前景給出清醒的評估。不幸的是，人們喜歡相信驚心動魄的故事以及想象中的危險。
輿論很容易被假想的威脅（如外星人入侵或根據瑪雅歷法推算的世界末日）影響。相比之下，人們對通過冷靜和理性的分析所發現的真正風險卻置若罔聞，對其做出反應時常常為時已晚(例如，經濟危機本可預見並提前做出防范，但最終卻因為無所作為而導致經濟崩潰)。
對於以上假想的風險，我引用著名科幻作傢艾薩克·阿西莫夫提出的三條基本道理準則，機器人必須遵守:（1）不傷害人類;(2)服從人類;(3)保護自己。當然，我們使用的計算系統並不是科幻小說中的“邪惡機器人”。但沒有人想過這些系統是否會違反上述任何一條(或所有)準則，並造成嚴重後果。當然，我們不能像科幻小說中寫的那樣，將這些後果歸咎於機器人的惡意。
風險其一:失業
人們都在熱議計算機智能的假想風險，也許把真正的風險掩蓋住。而這些真正的風險才是問題所在，因為它們涉及社會組織的類型及其所服務的關系，特別是社會和政治性質的問題。
很久以前人們就發現，自動化程度不斷提高帶來的一個風險是，機器人使用越普遍的行業失業率越高。因此，我們會看到農業和工業等部門，以及可以被自動化替代的服務部門的工作崗位數量在逐漸減少。而需要創造力的職業（如系統編程和設計），或者雖然不需要特殊資質但不易被系統化的職業(如郵件分發)仍然會有工作機會。
除引發高失業率之外，自動化的趨勢還會進一步擴大需要技能和知識的高薪工作與其他體力勞動之間的差距。
當然，有些人認為，傳統工作崗位的消失會被新需求所創造的崗位抵消。我認為，除非對職業結構進行徹底改革，否則失業和工資差距的問題將會惡化。我不會進一步討論這個問題。
風險其二:防護與安全管理
當自動化集成程度超過某個水平時，信息系統如果缺乏安全保護可能是極其危險的。眾所周知，即使對那些最重要的系統，人們也無法做到全面保護它們不遭受網絡攻擊，我們充其量隻能希望及時發現入侵者。
不幸的是，由於技術和其他原因，計算機系統在可預見的未來仍然極易受到攻擊。這意味著我們不能排除災難的發生，特別是國傢之間出現緊張局勢所引發的災難。今天，網絡戰已經不再是由個人黑客發動，而是由組織良好的企業甚至國傢發動。
一個相關的安全風險是，系統的解決方案往往相互依賴，這些解決方案一般是由越來越復雜的技術基礎設施提供的，就像金字塔一樣，以一種經驗的方式堆疊起來。大傢都知道，對於一些用舊的編程語言（如 Fortran）編寫的復雜軟件，我們是無法更改的。
不幸的是，大型計算機系統並不像機電系統那樣以模塊化方式構建。想要在不破壞大型計算機系統功能的前提下分離出它們的某些組件，並用同等甚至更好的組件進行替換，不是一件容易的事。這種變動所面臨的風險難以評估。
這種替換和改進的困難使我們不得不依賴某些初始的選擇，這是一種束縛。例如，如果你要把交通規則從靠右行駛改為靠左行駛，那麼所面臨的成本和風險將是巨大的。目前的互聯網協議在安全性和反應性方面都不具備我們所期望的特性，然而由於當初的選擇，我們隻能繼續使用這些協議。
我已經在討論中指出，在引入人工智能和自主系統的領域，其風險管理與在其他領域有顯著的差異。在這些領域中，不再有獨立的國傢機構來保證和控制系統的質量及安全。這個責任轉移給制造商。其中的風險是顯而易見的，因為用戶的安全級別將不再由透明的技術標準決定，而是由制造成本和能夠覆蓋事故賠償金的保險成本之間的最佳平衡值來決定。
不幸的是，目前被大量采用的信息和電信技術被看作是理所當然。沒有人問我們應該開發什麼樣的技術，為什麼要開發，或者如何以最合適的方式使用現有的技術，也沒有關於這些技術對經濟、社會和政治會產生什麼影響的公開辯論。
各國政府和國際組織明顯是缺席和不作為的。他們好像認為技術進步本身就是目的。他們很少關心互聯網上發生的違法行為。他們認為風險不可避免，因此幹脆對其放任自流，就好像進步一定會帶來某些不可避免和無法控制的弊病一樣。
大型科技公司的宣傳口號也顯得十分愚蠢，例如“科技向善”或“科技守護安全”。谷歌、推特和臉書都有響亮的口號，例如“不作惡”、“幫助提升公眾交流的集體健康、開放和文明程度”，以及“賦予人們建立社區的權利，讓世界更緊密地聯系在一起”。當然，如果期望這些公司關心創新和技術革命所帶來的社會問題，那就太天真。
因此，公眾輿論仍然處於混亂迷失狀態，而且在一定程度上被那些既不負責也不客觀的聲音操縱。一些人誇大風險，而另一些人則為推廣技術應用而淡化風險。公眾卻樂於接受錯誤的思想，並隨波逐流。
那些對經濟和社會組織順暢運作至關重要的流程和服務，其自動化程度越來越高，但與此同時也導致對網絡控制的決策越來越集中化。這個問題本質上是政治問題:決策的民主控制才是合理、安全地使用基礎設施和服務的關鍵
風險其三:技術依賴
技術的應用解決人們的許多實際問題並使生活變得更舒適，但這也意味著我們喪失某些解決問題的技能。例如，今天很少有人知道如何使用摩擦生火，這是史前人類掌握的基本生存技能。今天的人們也不知道如何在野外生存或建造小屋來保護自己。
直到20世紀（包括20世紀），乘法口訣表一直是兒童數學教育的基礎，然而在未來，孩子們也許不再需要背誦它。擔心人們過度依賴技術並非杞人憂天。因為現在技術不僅是解決單個問題，而且為人們提供全面的解決方案。這意味著我們正在過渡到一種新的生活方式——技術提供大量的服務，減輕我們管理決策的負擔。在這種生活方式中，有越來越多的技能 / 知識不再是我們必須掌握的。
那麼，哪些基本技能 / 知識是我們必須掌握的呢?
為解釋其中的風險，有些人引用“溫水煮青蛙”的寓言。如果我們突然提高水溫，青蛙就會從鍋裡跳出來。然而，如果我們逐漸提高水溫，青蛙最初會感覺很舒服，並會一直待在鍋裡直到死去。
目前，社交媒體的用戶願意提供他們的個人數據，以換取更高質量的服務。然而這卻是控制輿論的重要基礎。每個人的個人喜好和信息對他們來說當然沒有商業價值。然而，對非常大的數據集進行深入分析得出的結果，不僅對資源和系統的可預測性與控制性來說至關重要，而且對於市場和群體行為的可預測性與控制性也非常關鍵。可能我們還不理解這些信息的重要性，因為這些信息仍然是秘密，隻掌握在那些當權者和願意為此付費的人手中。
面對我們個人的威脅
我發現個人自由面臨兩種威脅。
第一種威脅是侵犯隱私權，它常常打著為保護社會免受恐怖主義或犯罪行為侵害的旗號。有許多計劃是通過開發特定的技術解決方案來增加對個人的監控。例如征信系統（為利用個人信譽建立征信，它允許用戶在在線社區中相互評分）。
利用這樣的系統，有人就可以通過武斷的程序和標準來污蔑或排斥其他公民。毋庸置疑，對於這些侵犯隱私的工具的使用，有必要建立一個監管框架。
第二種威脅來自自主系統和服務的廣泛使用，而這往往會打著提高效率的旗號。普及自主系統和服務的願景正在通過物聯網得到推廣。這個願景的構想是在沒有人為幹預的情況下實現關鍵資源和基礎設施管理的自動化。其中的決策標準可能非常復雜，以至於超出人類理解和控制的范圍。
因此，我們可能會形成一個技術專制的系統，尤其是因為自動化使決策越來越集中。因此，真正的風險是計算機生成的知識被不受控制地用於決策，並在關鍵流程中取代人類。
正確、合理地使用人工智能和自主系統取決於以下兩個因素。
第一，根據客觀標準評估我們是否可以信任計算機生成的知識。這是目前正在研究的課題——希望這些研究能夠給我們提供一個答案。我們正在嘗試開發“可解釋的”人工智能，讓我們能夠理解並在某種程度上控制系統的行為。此外，我們需要一種評估知識的新方法，來彌合科學知識與人工智能經驗知識之間的差距。
第二，全社會的警惕性和政治責任感。當使用計算機生成的知識做出關鍵決策時，我們必須確保這些知識是安全的和中立的。自主系統的安全性必須得到獨立機構的認證，而不是留給開發它們的人。在這方面，立法並建立監管框架，以及讓機構參與風險管理可能會起到一定的作用。