人工智能:自我升級智能體的邏輯與認知問題_nem人工智能技術應用

內容提要：自我升級智能體的建立使人們對自我意識的研究有了一個程序化的標準，借助這種形式化的方法有可能彌合學界關于機器意識的分歧，破解機器意識研究面臨的困局。但它也有邏輯上的局限。生成主義為自我升級智能體的提出奠定了認知基礎。自我升級智能體的成功為生成主義提供了一個強有力的例證。盡管自我升級智能體向機器真正具有自我意識前進了一大步，但是人們只能說它具有了“功能意識”。造成機器意識困局的癥結源自分析哲學傳統與現象學傳統的分歧和偏頗。解決的出路在于：從對立到相容，從互斥到互補，進而達到融通的新境界。

關鍵詞：自我升級智能體；自我意識；生成主義；哥德爾機

作者簡介：任曉明，南開大學哲學系教授；李熙，中南大學公共管理學院哲學系講師。

基金項目：本文為中國社會科學雜志社哲學部主辦的“語言、認知與心靈學術研討會”參會論文，國家社會科學基金重大項目“現代歸納邏輯的新發展、理論前沿與應用研究”(15ZDB018)階段性成果。

在認知科學和哲學中，意識是最讓人著迷又始終無法解釋的問題。自我意識是我們再熟悉不過的了，但它又是最難以解釋的。人工智能思想家通常用兩種方式研究自我意識：其一是建立自我意識的計算機模型，這叫作“機器意識”；其二是用計算術語去分析自我意識，但不去模擬。①前者主要是人工智能技術專家的工作，他們通常只關注技術性問題而不討論關于意識的哲學問題；后者主要是那些對人工智能有研究的哲學家感興趣的，但他們在有關哲學問題上存在著巨大的分歧。例如，強人工智能系統會有自我意識嗎？如果有，它指的是意向性還是感受質，或者什么別的屬性？如此等等。這顯然不是科學問題，而是人工智能中的哲學問題，是需要哲學家和科學家共同面對，通力合作而加以解決的問題。然而令人尷尬的是，人工智能研究近年來盡管取得了重大突破，但對強人工智能中涉及機器意識這類難題，哲學家和科學家要么避而不談，要么泛泛而談，機器意識的研究舉步維艱。

幸運的是，一些機器意識研究成果正悄然改變著這個局面：關于機器意識的認知和哲學研究盡管面臨巨大困難，但是自我升級智能體的理論成果有望打破困局，它能不能像圖靈機的構建打破了人工智能研究的困局一樣，人們正有所期待。自我升級(self-improvement)智能體，亦即自我改進智能體，是通用人工智能的一種理論模型。作為機器意識研究的成果，它試圖為破解自我意識難題作出貢獻。建立這種智能體的意義不僅僅在于它可以解決問題，而在于它與圖靈機一樣，可以為我們討論自我意識的話題奠定一個程序的基礎，或者一種科學驗證的標準，從而使意識問題不再神秘。這是我們探討自我升級智能體問題的一個動因。

以下探討的主要問題有：第一，自我升級智能體在邏輯和哲學上有什么貢獻？存在什么局限？第二，自我升級智能體的提出有什么認知意義和應用風險？第三，自我升級智能體能否具有自我意識？這種智能體在理論上的困局是什么？第四，破解自我升級智能體困局的出路何在？

　一、自我創生思想的演進

自我升級智能體是一種關于自我意識的智能體。雖然這種思想在古希臘早已萌芽，但作為一種認知科學和人工智能理論是從馮·諾意曼(VonNeumann)開始的。馮·諾意曼第一次以數學的精確性和邏輯的嚴密性探討了自創生系統。②

實現自我創生的前提是實現自我復制(self-producing)或自我生產。在馮·諾意曼看來，借助圖靈程序來進行自動機的“自我復制”是不夠的。因為圖靈機輸出的是一段帶有0和1的紙帶。而馮·諾意曼要構造的是這樣的自動機：它的輸出是另一自動機。

馮·諾意曼明確指出，借助構造的方法，即通過設計各種構造性的自動機，能夠構造出自復制自動機。③這種自復制自動機不僅能夠進行通用圖靈機那種計算，而且能自我復制。但這種自動機離真正具有自我意識的智能體還有一定差距。

21世紀初，斯蒂芬·沃爾夫勒姆(StephenWolfram)對馮·諾意曼的細胞自動機理論作了進一步闡述和改進。他指出，可以用簡單的電腦程序來表達更一般的規律，在此基礎上建立一種新的科學，啟動另一場科學變革。④如果說馮·諾意曼主要從理論方面闡述自動機如何從簡單規則和初始條件進化到復雜系統，如何自我復制，那么可以說沃爾夫勒姆從技術細節方面更深入地探討了自動機的自我復制功能，為自我升級智能體的建構奠定了基礎。

受到細胞自動機研究的啟發，認知科學中的生成主義者開展了對細胞自動機模型的研究。他們認為，在自治的復雜系統中，界定自治組織的關系不在于靜態實體而在于過程，如細胞中的新陳代謝反應過程。這種自治系統的一個范例是活細胞。在一個活細胞中，其構成過程是化學的；其循環依賴性采取了自我復制的新陳代謝網絡形式，這個自我復制的代謝網絡產生了它自己的膜；這個網絡將這個系統構成生物域中的一個統一體，并決定了與環境的交互作用域。這種自治系統稱之為“自創生”(autopoisis)系統。⑤

不難看出，生成主義是一種非還原論的自然主義綱領。在傳統認識論中難以理解的“自我指涉”，在生成主義那里得到了合理的解釋，從而為自我升級智能體的建構提供了認識論資源。

總之，生成主義不再關注意向性意義上的意識，而是強調自我意識的自主性，這就為關于自我意識的智能體研究開辟了道路。生成主義對建構自我升級智能體的影響在于，如果沒有生成主義的概念，認知科學既不能解釋有生命的認知，也不能建立真正有智能的智能體。

在生成主義看來，我們對意識問題的分析就是要解釋人的意識是如何從大腦這個虛擬計算機的運作中產生的。他們希望為自我意識找到一個能使其成為科學的研究方法，借助這種實驗的方法可以解決自我意識中的難題。雖然自創生系統理論探討了自動機自我復制的認知基礎問題，然而，僅僅具有自我復制能力的機器還不具有自我意識，構造出具有自我意識的智能體，是認知科學和人工智能面臨的更為嚴峻的挑戰。而真正使這種前瞻性設想變為現實的是哥德爾機(GdelMachine)的構想。⑥

Politico：美國數字資產市場團體將支持進行自我監管:Politico：美國數字資產市場團體將支持進行自我監管。（金十）[2021/9/24 17:04:15]

　二、“自指”：涉及“自我”的智能體的核心概念

曾經有一本獲普利策文學獎的奇書《GEB：集異璧之大成》，該書作者侯世達(Hofstadter)將巴赫的賦格曲、埃舍爾的版畫和哥德爾的邏輯定理這三塊奇異的瑰璧纏結在一起探討，廣泛涉及人工智能、數理邏輯、幾何繪圖、古典音樂、生物基因、認知心理、形而上學與認識論、禪宗寓言等不同領域，書中充斥著各種語言游戲、歧義、雙關、悖論、怪圈、對稱、嵌套、鑲嵌、自指、跨越、同構等“奇技巧”，仿佛一座循環往復、層次錯亂、令人目眩的迷宮。⑦但居于迷宮最核心的珍寶是兩樣——“自指”(self-reference)和“對角線”(diagonal)，二者又如一枚銅幣的兩面，被來自范疇論的勞威爾(Lawvere)不動點定理牢牢捕獲——讓“數學”開口說“我”，或讓“我”超越預設。康托爾定理、說謊者悖論、羅素悖論、塔斯基算術“真”不可定義定理、圖靈停機定理、哥德爾不完全性定理等都可以看作它的特殊示例。

19世紀末，康托爾創立了素樸集合論，證明了一個集合的基數嚴格小于其冪集的基數，從而發現存在不同層次的無窮。但素樸集合論不一致(不協調)。1901年羅素悖論的發現揭示出所有不屬于自身的集合的類不再是一個集合，這直接導致了所謂的第三次數學基礎危機。哥德爾1931年證明，任何包含初等算術的、一致的、可遞歸公理化形式系統不可能完全，也不能證明自身的一致。塔斯基1933年證明算術真不能在算術內部被定義。圖靈1936年證明停機問題是不可判定的，從而一階邏輯的有效性不可判定。上述這些否定性的結果意味著希爾伯特規劃的失敗，也使萊布尼茨關于通用文字、理性演算的夢想蒙上一絲陰影。這些否定性的結果看上去碰觸到了人類理性的邊界和極限，也引起了心靈哲學家和認知科學家的密切關注。侯世達的工作就是主要圍繞這些定理和悖論展開的。這些結果還被彭羅斯(Penrose)用來論證心智勝過機器，從而人工智能不可能。⑧所以有必要弄清這些否定性結果背后的統一結構。所有這些定理、悖論都與哲學上一個古老的悖論——說謊者悖論有關。勞威爾通過范疇論里的一個不動點定理刻畫了這些悖論和定理背后的對角線結構。⑨但直到雅諾夫斯基(Yanofsky)通過集合論語言重新表述勞威爾不動點定理之前，這個重要的結果并沒有得到邏輯學家和哲學家的足夠重視。⑩雖然這些理論結果看上去是否定性的，但它們直接催生了關于涉及“自我”的智能體的研究。下面將分析這個刻畫了“自指”和“超越”(transcendence)的定理的更多應用，并揭示它在構造自我升級的通用人工智能體中的核心作用。

首先，康托爾在證明集合A的冪集P(A)的基數大于集合A的基數時引入了對角線方法。說謊者悖論、羅素悖論、哥德爾不完全性定理、圖靈停機定理等都借助了對角線方法。勞威爾通過范疇論里一個非常簡潔的不動點定理給出了對角線方法的統一刻畫。(11)說謊者悖論、格雷林悖論、蒯因悖論、理查德悖論、雅布勞悖論、羅素悖論、佩里悖論、忙海貍函數、康托爾定理、圖靈停機定理等都服從勞威爾的模式。

其次，勞威爾不動點定理抓住了“自指”的核心，它是說謊者悖論、格雷林悖論、羅素悖論、理發師悖論、理查德悖論、蒯因悖論、雅布勞悖論等悖論的關鍵，也是康托爾定理、哥德爾第一不完全性定理、塔斯基算術真不可定義性定理、勒布定理、帕里克定理、克林尼(Kleene)不動點定理、圖靈停機定理、馮·諾意曼自復制自動機和全自省程序的關鍵，借助它還可以構造不可計算的實數、不可命名的實數、部分遞歸但非潛遞歸的函數、佩里悖論、快速增長的忙海貍函數、λ演算版本的哥德爾不動點引理、柯里Y不動點算子、圖靈Θ不動點算子，以及它們的“傳值”形式的不動點算子，借助“傳值”形式的不動點算子，易得克林尼不動點定理。甚至施米德胡貝爾(Schmidhuber)的借助定理證明器進行自指從而進行自我升級的通用智能體即哥德爾機也可以看作克林尼不動點定理的應用特例。(12)

“自指”或“對角線”方法在邏輯中的大部分應用都是證明否定性的結論，在計算機科學中也是如此。比如，科恩(Cohen)用“對角線”方法證明，不存在完美的反病軟件，即，不存在一個算法能檢測出所有的計算機病。假設存在某個病檢測算法A，則根據對角線方法，可以如下構造程序P：“如果A檢測出P被感染，則直接退出；否則，傳播病。”顯然，A不能判斷P是否被感染。所以，對于任何反病軟件來說，錯殺或漏殺難以避免。專門檢測危險程序的程序也面臨一樣的問題，要么可能放過了真正危險的程序，要么可能誤判了安全的程序。(13)所以，試圖通過打造“程序警察”的辦法阻止智能體的叛亂會存在很大的安全隱患。雖然這里的“對角線”論證對解決智能倫理問題產生了負面的作用，但“自指”的方法對構建通用人工智能會起到積極且正面的作用。

我們知道，發展通用人工智能最簡便最理想的方式可能是，先制造某個弱一點的人工智能體，然后賦予它某種自我進化的能力，比如，讓它可以修改自身的源代碼，然后希望它能通過自我修改的方式不斷自我升級變得更強。但直觀上，自我修改源代碼的程序很難令人接受，如果自我升級后的下一代更智能，是否意味著初代就已經蘊含了同樣水平的智能？自我修改是安全的嗎？會不會越改越崩潰？一個允許完全修改自身源代碼的程序也可能面臨類似的問題，如果它能修改得更好的話，為什么沒有修改得更壞的可能？如何確保一個程序能夠自我修改并修改得更好而不是更壞？這里的關鍵就是不動點定理。

克林尼不動點定理告訴我們：對于任意的程序h，總存在某個程序e，執行程序e的結果等價于把程序e當作數據輸入給程序h執行的結果。克林尼不動點定理的證明跟那些有趣的悖論構造差不多，都服從勞威爾不動點定理的結構，看起來像玩弄“自指”的文字游戲，但這并非簡單的自指，它對于智能體的自我覺知、自我升級非常重要，它能保證一段程序可以計算出關于自身的各種性質。比如，假設程序h(x)負責計算任意字符串x的長度，根據此定理，存在自測量長度的程序e，使得執行e的結果相當于執行h(e)，也就是說，e計算得出了自己源代碼的長度。再比如，假設程序h(x)負責編譯出x所編碼的程序。根據克林尼不動點定理，存在程序e，使得執行e的結果相當于輸出了程序e自身，這就是所謂的自復制程序。馮·諾意曼的自復制自動機是構造性的，而這里的自復制程序e看上去是存在性的，但因為克林尼不動點是構造性的，所以這里的自復制程序e也是構造性的。

動態 | Gravity將為難民推出自我主權數字身份平臺:據btcmanager消息，內羅畢區塊鏈初創企業Gravity為非洲難民推出證明自我主權數字身份的平臺，從而幫助難民獲得金融服務。據報道，該公司已經開始在肯尼亞卡庫馬的一個難民營部署其平臺，約有80,000名用戶。測試將在營地的三所學校舉行，允許Gravity跟蹤每日出勤率和學生的學習成績。該公司還將與非政府組織建立密切關系，以便能夠追蹤可能對難民營難民生活條件產生積極影響的其他數據和指標。[2018/12/2]

做一個類比，心理學家卡尼曼(Kahneman)認為，人有兩個自我：經驗自我和記憶自我，經驗自我負責動作和決策，記憶自我負責解讀反思。(14)瑜伽教練的“言傳身教”可以看作這兩個自我的配合，記憶自我對經驗自我的肢體演示過程進行了逐步的反思，并將反思的結果精確地敘述了出來。瑜伽教練的“記憶自我”的反思過程可以看作用語言對自己的經驗自我的行為進行的虛擬模擬。自省程序的自省過程可以與此類比，類似于程序φ(x)內嵌了虛擬機(記憶自我)，然后把自己的源代碼放在虛擬機上模擬自己運行了ψ(x)步，最后把整個的模擬結果輸出了出來。

不僅如此，程序不但能夠進行“自省”，而且能夠通過“自指”進行“自我升級”。抽象地看，一個智能體無非是一段程序。因此，不妨設計某種“元程序”負責搜索整個“程序空間”、自動尋找“聰明”的程序，然后通過經驗學習尋找更“聰明”的程序。

　三、哥德爾機：自我升級智能體的一種實現

自我升級的哥德爾機可以看作“自省”程序的超級加強版。數學家曼寧(Manin)也有過類似的超越“自省”程序的想法，設想房間的桌子上有一張房間的布置地圖，地圖精確地描述了房間里的陳設，包括桌子上的地圖自身，然后設想地圖上房間物品的擺設可以脫離地圖而發生位置變化，然后房間里現實物品的擺放位置也可以根據地圖的變化而變化。曼寧認為，大腦的功能與此類似，大腦內嵌了一張描述自身的大腦地圖，這張地圖具有建模功能，可以虛擬不同于當前大腦狀態的可能狀態，然后還具有控制功能，它能控制整個大腦根據虛擬狀態的變化而發生現實的變化。而且，這張大腦地圖還是粗粒化的。(15)曼寧有這個構想，但并沒有給出具體的實現方案。哥德爾機恰恰可以看作這么一張大腦地圖。它的可行性由克林尼不動點定理保證。雖然能夠自我修改源代碼的哥德爾機可以通過克林尼不動點定理構造出來，但相比于自測量長度程序、自復制程序和自省程序，這里的h函數要復雜很多，因為它不僅要“自省”，更重要的是，它還要通過更深層次的“自省”實現“自我升級”，下面介紹它的詳細構造。

哥德爾機由兩個并行的部分構成：通用求解器可以是任何一個處理具體問題的程序，比如深度神經網絡CNN/LSTM，為了更具有通用性，它也可以是一個通用強化學習算法，比如直接采用AIXI的某個可計算的變種，強化學習算法負責與環境交互，能對環境采取動作，并能感知外界環境的反饋，通過不斷地與環境交互來獲取更大的期望累積效用。通用搜索器內嵌了一個形式系統，形式系統完整編碼了哥德爾機的硬件、效用函數、不確定性計算工具的全部信息以及部分環境信息。

硬件公理負責描述機器元件具體的運作方式，比如，如果它的硬件是最簡單的圖靈機模型，那么，硬件公理就需要描述圖靈機紙帶的內容、讀寫頭的位置、當前的狀態以及狀態的可能的轉移規則等。效用公理負責描述不同狀態的可能回報、機器在輸入輸出和運行過程中的計算成本以及這些不同的回報和成本之間的整合方式。環境公理負責描述觀察到的環境信息以及可能的環境變化，如果通用求解器加載的是AIXI的某個變種的話，它就需要描述AIXI的環境空間，即所有半可計算的半測度。不確定性公理負責描述算術、概率論、統計學以及邏輯中的符號操作規則等。

通過內嵌的形式系統，通用搜索器就可以將機器工作的所有狀態當作數學定理來討論。通用搜索器可以通過一個定理證明器搜索數學命題的證明，基于初始給定的效用函數，如果它搜索到某個“策略在未來的時間里比當前策略能帶來更大的期望累積效用”成立，那么它就改掉之前的策略，改用這個新的策略與環境進行交互。這就實現了哥德爾機的自我升級(見圖1)。

圖1哥德爾機

以上關于通用求解器和通用搜索器的描述就是我們借助克林尼不動點定理構造自我升級的哥德爾機所需要的函數h。雖然上面內容是用自然語言描述的，但只要設計得足夠巧妙，通用求解器和通用搜索器的構造確實是能行的，所以根據丘奇—圖靈論題，它可以看作一個遞歸函數h，然后我們就可以借助克林尼不動點定理，證明存在某個程序e，它可以對自身(包括通用求解器和通用搜索器)的源代碼進行徹底的修改——只要它內嵌的形式系統的定理證明器能證明“修改后的策略在未來的時間里比當前策略能帶來更大的期望累積效用”。這在一定程度上保證了對源代碼的修改是相對可靠的。這樣通用求解器和通用搜索器就可以比較合理地自我學習升級。

但根據克林尼不動點定理，只是存在一個能提升效用的程序e，那么，能否讓機器反復改進、持續自我升級？這就需要帶參數的克林尼不動點定理：對于任意給定的遞歸函數h(x，y)，存在遞歸函數e(y)，使得對任意y都有φ=φ。將時間、部分環境等計算資源的限制信息編碼到參數y里面，借助帶參數的克林尼不動點定理，存在一種系統的自我升級方式e，可以持續不斷地產生一系列程序e(y)，每一個都是對前一個補充了額外信息的改進。通過這樣的方式，哥德爾機就能持續地搜索可提升自己效用的策略，不斷用更好的策略改寫自己的源代碼，從而完成持續“反思升級”的學習過程。

日本加密貨幣行業擬設立自我監管機構:知情人士稱，日本兩個加密貨幣行業組織正計劃合并，以組建一個自我監管機構，更好地保護投資者，避免再次發生類似上月5.3億美元加密貨幣被盜的事件。該消息人士稱，日本區塊鏈協會與日本加密貨幣企業協會預計最早將于4月份合并。[2018/2/16]

這里的升級既有采用克林尼不動點定理的一次升級，也有采用帶參數的克林尼不動點定理的持續升級。一次升級與持續升級孰優孰劣呢？是否持續升級必然強于一次升級呢？在同一個全局最優的意義上，其實二者沒有區別。因為根據通用搜索器的設計，只有當“改進”后的狀態比“不改進”的狀態嚴格地好的時候才會觸發改進，而“不改進”的狀態其實隱含著，雖然當前不改進但會繼續搜索并評估以后其他替代改進狀態的可能，這意味著，相對于初始給定的效用函數和環境信息，“改進”不會落入局部最優而是穩妥地邁到全局最優。所以一次改進足矣，一次改進包含了以后可能的二代、三代……直到最優的所有可能的改進。

但是，持續升級仍然有它的優勢，因為參數y里可以編碼更多的新探測到的環境信息和計算資源等信息，所以持續改進的哥德爾機類似于一個實時算法，它可以不斷拓展對環境的知識，搜索相對于當下計算資源限制下的最優改進，然后隨著新環境信息的錄入和計算資源的增多，不斷地調整對“全局最優”的理解，從而收斂到真正的全局最優。升級后的哥德爾機也不過是一段程序，所以它還可以調用馮·諾意曼的自復制程序，不斷將自己復制下去，如果允許變異的話，變異后的個體也可以繁殖下去。

不難看出，通用搜索器有點像前面作類比的虛擬機。所謂借助形式系統的搜索類似一套模擬過程。而哥德爾機允許對自身狀態進行編碼相當于機器可以模擬自身的運作，而用定理證明器搜索數學命題探測更好的策略的過程相當于機器進行自我反思、主動規劃探索的過程。如果能將虛擬機里搜索到的策略裝載到實際的執行系統上，哥德爾機就可以不斷地修改自己的代碼，看上去像“揪著自己的頭發把自己拎起來”。有人擔心，這種裝置一旦實際制造出來，就有可能引發智能爆炸，從而導致技術奇點的來臨。但更需注意的是，即使有實現超級智能的可能，也未必是往好的方向。雖然哥德爾機相對于其初始給定的效用函數是全局最優的，如果初始給定的效用函數有問題的話，比如與既定的目標有偏差、沒有真正反映人的真實意圖、甚至是有敵意或邪惡的，那么，相對于這種效用的全局最優只會更可怕，極有可能收斂到最壞的情形。這就是哲學家博斯特羅姆(Bostrom)所說的“目標正交性”(goalorthogonality)論題。(16)

施米德胡貝爾建立的哥德爾機是第一個具有自指能力的元學習機，(17)以下通過討論作為自我升級智能體的哥德爾機，探討機器能不能具備自我意識的話題。

通過勞威爾的定理，可以看出，“自指”與“對角線”是一枚硬幣的兩面，通過不動點可以實現跨越層次的間接自指，可以表達“我有什么性質”或“我要進行什么操作”，而通過“對角線”可以構造出“超越”預定列表的新對象，無論是“自指”還是“超越”都是令人振奮的現象，與人的意識活動密切相關，而哥德爾機卻通過內嵌形式系統的方式自指，這種“自指”實現了另一種意義上的“超越”，不同于借助“對角線”構造出不能以既有方式表示的“不合法”的新對象，哥德爾機卻是通過“自指”實現“超越”，相當于對自己說——“我要變成能獲取更大效用的自己”——然后就魔術般真的變強了(實現全局最優)。

上面例子中瑜伽教練的“記憶自我”的反思過程是對“經驗自我”亦步亦趨的虛擬模擬而沒有實質性的指導，而哥德爾機的“記憶自我”卻試圖通過定理證明器的自我反思升級“經驗自我”(見圖2)。

哥德爾機與自我意識的類比

圖2人與哥德爾機

如果我們把“自由意志”定義為記憶自我對經驗自我的反思甚至指導，那么在這種意義上，只要搜索器比求解器跑得快，哥德爾機或許可以具有自由意志。對于人來說，記憶自我可以通過虛構故事來“欺騙”自己。人可能沒有自由意志，因為有實驗顯示，記憶自我并不參與決策過程，真正的決策早在我們意識到之前幾秒的時間就已經被經驗自我做出了，自由意志很可能就是這個記憶自我編造的一個故事。我們充其量僅具有自我意識，我們可以覺知到自己所做的一切，但不能反過來作用到我們的行動上。關于自由意志，法蘭克福(Frankfurt)認為，指向事物或事態的欲望叫一階欲望，指向一階欲望的欲望叫二階欲望。有自我意識才能形成二階欲望。一個人可以有二階欲望但不一定想依照它行動。想依照它行動的二階欲望叫二階意欲。一個人的行動是自由的當且僅當這個行動是由他認同的自己的二階意欲所致使的。這要求二階欲望是自主選擇的而不是外部設定的。(18)根據這種“自由意志”的定義，叔本華所說的“人能為所欲為，但不能御其所欲”相當于否定了人有自由意志。哥德爾機的通用搜索器只根據初始的效用函數搜索升級策略，并沒有真正升級效用函數，所以不具有法蘭克福意義上的自由意志。埃弗里特(Everitt)等人刻畫過可以自我修改效用函數的智能體，不過，根據他們刻畫的自我修改效用函數的方式，看上去“高階欲望”像是自我決定的，但其實這并不是真正的可以作用在“低階欲望”上的“高階欲望”，而只是用當下的策略可以修改的“未來欲望”，所以這種智能體也不具有法蘭克福意義上的自由意志。(19)

　四、自我升級智能體理論的貢獻和局限

美國商品期貨交易委員會將討論比特幣期貨的自我認證程序:美國商品期貨交易委員會的兩個委員會將在本月舉行有關數字貨幣事宜的會議，包括批準新的加密貨幣衍生產品的自我認證程序。CFTC主席J. Christopher Giancarlo在周四發表的聲明中表示，該委員會的技術咨詢委員會將討論如何廣泛使用虛擬貨幣，而市場風險咨詢委員會將就新產品和周邊規則的自我認證程序舉行一次會議。[2018/1/5]

自我升級智能體的研究切實推進了人工智能和哲學的研究，但這種推進是有限度的。以下從邏輯、認知和認識論方面探討自我升級智能體的貢獻和局限。

(一)邏輯和哲學上的貢獻和局限

自我升級智能體的構建向真正具有自我意識的智能體前進了一步。它對涉及“自指”的羅素悖論、哥德爾不完全性定理、圖靈停機定理等否定性結果背后的機制做了一次正面的應用。它使得我們對自我意識的研究有了一個程序化的標準，借助這種形式化的方法可以為自我意識的機器實現提供新的思路，進而彌合學界關于機器意識的分歧，破解機器意識研究面臨的困局。

自我升級智能體的局限體現在邏輯、認知和認識論方面。主要有：

1.哥德爾第一不完全性定理的局限

哥德爾機通過內嵌的形式系統(數學)對自己和環境進行建模、做邏輯推理，從而規劃與環境的交互策略，這個過程非常類似于人在世界之中的生存過程。人類在漫長的文明中，發展出了先進的數學科學，用科學手段對自己和環境建模，制造和使用工具，影響改造環境。除了人很難自我升級外，人通過發展“理性”手段自我認識并認識和改造環境的過程與機器很相似。泰格馬克(Tegmark)在《生命3.0》中認為，生命的發展有三個階段，通用人工智能是生命形式的第三個階段。在第一個階段，生命的硬件和軟件都只能依賴于進化的力量，如細菌。在第二個階段，硬件依靠進化，但軟件可以自行設計、升級改進，如人類。人類可以創造、發展、傳承知識，雖然軀體只能維修保養不能設計改進，但知識可以不斷地升級。在第三個階段，硬件和軟件都可以設計升級。(20)哥德爾機應該可以看作泰格馬克所說的第三個階段的典型代表，它可以對自身(包括通用求解器和通用搜索器)進行徹底的升級改造。最開始的通用求解器可以選擇AIXI的某種可計算的逼近或變種，如強化學習模型AIXI，而通用搜索器可以選擇萊文通用搜索的某個變種，如胡特爾搜索。但是，既然通用搜索器內嵌了形式系統，那么它就面臨哥德爾不完全性定理的障礙，有一些重要且必要的“變身”可能無法被形式系統找到。

對于任何可計算的環境，算法概率都可以很好地逼近它，為了保證可以逼近任何可計算環境這種“通用性”，算法概率本身不是可計算的。(21)強大的智能體必然復雜，雖然復雜且強大的智能體是存在的，但只要它足夠復雜，那么形式系統將無法幫助我們找到它。這個限制可以稱為哥德爾第一不完全性定理和萊格不完全性定理限制。

2.哥德爾第二不完全性定理的局限

生物的進化有可能是基因無目的地隨機變異，自然環境做選擇、適者生存的結果。因為是隨機變異，所以進化速度慢。對于自我升級的智能體來說，智能體根據環境自我選擇變異。哥德爾機就是帶有方向性地自主選擇變異。在當前的主體技窮之時，人們總寄希望于進化的力量，希望演化后的主體能更強大。對于哥德爾機來說，如果它想實現迭代進化的話，一個自然的辦法就是制造后代，只要每一代給下一代裝配更強的形式系統，那么哥德爾第一不完全性定理的障礙就可以在一定程度上突破，但問題是——哥德爾第二不完全性定理，主體1在構造主體2時如果不能在自己的形式系統內證明主體2的形式系統的一致性，那么它根本無法保證主體2的可靠性。無法保障可靠性，就無法回避完全坍塌的風險。一致性得不到保障意味著機器智能的倫理安全問題得不到保障。但是，如果要求每一代主體必須嚴格證明下一代主體的形式系統的一致性的話，那么，這種進化在某種意義上是一種退化，而且是一種極為快速的退化。而生物的進化則不需要一致性的保證，好的變異、不好的變異都可能產生，自然選擇的結果雖然常常是、但不必然是優勝劣汰。變異和自然選擇不能保證可靠性，哥德爾機面臨的也是同樣的問題。這可以稱之為可靠性限制。

3.復雜性限制與高層抽象的反思

如果不考慮哥德爾不完全性定理的限制，哥德爾機在理論上是全局最優的，但是否可以馬上進行工程制造了呢？其實很難，難點在于復雜性。由于一個自我模擬系統需要兩層設計，隨著求解器復雜性的提高，需要更復雜的搜索器去模擬它。一個可能的方案是，先對求解器進行高層抽象，比如，采用類似特征強化學習的辦法，將求解器的環境抽象為簡單的馬爾科夫決策過程，搜索器只“反思”抽象后的求解器，而不是亦步亦趨地模擬所有細節。人的意識也是類似，對于一段經歷，記憶自我會做加工裁剪，忽視中間波瀾不驚的過程，而格外重視尖峰體驗和最終時刻的體驗。這就是心理學家所謂的“過程忽視”和“峰終定律”。(22)所以，搜索器必須以“粗粒化”的方式反思求解器，學習需要遺忘，高層抽象可以看作對復雜性限制的一個解決路徑。這也可以看作一種實用復雜性限制。

4.獨立于還是內嵌于環境的問題

克林尼不動點定理保證了哥德爾機的全局最優策略，哥德爾機所謂對自身策略、效用函數、搜索器的自我修改其實也不是真的自我修改，而是通過自指方法構造的不動點。這樣構造的哥德爾機是外在于環境的。這種構想類似于哲學上笛卡爾主張的“心物二元論”思想。哥德爾機與環境除了有限的輸入輸出的交互外，二者完全獨立，環境無法影響哥德爾機的運行過程。這是一種高度的理想化，與現實情境相去甚遠。現實中的機器可能隨時受環境的影響，機器不是超越于環境的心靈，機器與環境由同樣的物質材料構成，機器是環境的一部分。所以，如果拋棄二元論的設定，考慮更現實的一元論設定，不做過度簡化的更理想的哥德爾機應該是嵌入式的。如果把哥德爾機看作環境的一部分會怎樣？對于內嵌于環境的主體來說，它只是環境的一個子部分，環境可以修改主體的源代碼和內存，并執行主體的代碼。受資源限制，第一步主體可以從長度不超過某個固定長度的程序集合中搜索最優策略，后面主體怎么改變就完全由環境控制了。

超過40家韓國加密貨幣交易所實施自我監管措施:韓國區塊鏈行業協會星期五在首爾的新聞發布會上宣布了加密貨幣交易的自律措施。一天之后，韓國監管機構發布了旨在遏制加密貨幣市場的緊急措施。該協會聲稱有超過40家公司參與自我監管措施，其中包括韓國前三名的加密貨幣交易所--Bithumb、Coinone和Korbit。[2017/12/17]

主體試圖通過自己的行動影響環境，環境直接修改生成下一代主體的策略和下一代主體的感知，所以主體的動作、下一代主體以及下一代主體的感知都可以整合在一起，相當于所有的信息都被整合到了主體里，所謂的交互歷史就是主體的更迭。(23)如果主體的源代碼和內存完全由環境修改，環境執行主體的代碼，那么，因為所有的信息都被整合到了主體里，主體只能在最開始沒有任何經驗知識的前提下進行決策，此時主體缺乏對環境的經驗估計，唯一可以依賴的只有對環境的“先驗”信念。而這種“先驗”信念如何去把握？這是內嵌于環境的哥德爾機遇到的難題。

5.“自指”的物理限制

前面討論的哥德爾機是基于經典的圖靈機，并沒有考慮量子效應。彭羅斯曾借助不完全性定理論證心靈勝過機器，認為人的意識可以把握機器證明不了的真理。他猜測人腦的意識行為源于大腦神經元微管的量子效應。如果彭羅斯的這個猜測成立，那么是否量子哥德爾機才能刻畫人的意識？其實，只要借助“自指”來刻畫意識，意識都無法超越對角線論證的局限。(24)假設M是可能的量子測量的集合，O是可能的量子測量結果的集合，勞威爾定理告訴我們，如果α沒有不動點，那么通過對角線方法構造的g就不能被f表示。測量一個屬性并完全不改變它是不可能的，換句話說，因為有量子觀察效應，所以α沒有不動點，這意味著，觀察者的自我測量或者說自我反思行為必然存在局限，必然存在不能進行自我觀測的死角。

通過勞威爾不動點定理，我們看到了“自指”與“超越”的廣泛應用，看到了很多悖論、定理、算子之間深刻的相似性，也看到了“自指”與“超越”之間深刻的“平衡”。“自指”與“超越”恰如一枚硬幣的正反兩面，正面的應用甚至在構建自我升級的通用人工智能中也起著至關重要的作用，而反面的應用則在不斷地挑戰著機器甚至人腦自身的認知局限。

(二)認知意義和應用風險

從認知的角度看，自我升級智能體的提出具有重要的認知意義。我們知道，生成主義強調具身主體以由其生理機能決定的精確方式與環境發生交互作用，“自我”作為這種交互過程的一部分而產生，“自我”并不表征，但他通過與環境交互作用的方式產生世界，生成世界。因此，生成主義綱領的一個基本特征是自指性。比起第一代認知主義綱領，生成主義綱領的高明之處就是它直面自指性，即涉及自身的問題。羅素悖論、說謊者悖論的出現讓人們時刻警惕自指性帶來的風險。實踐證明，作為第三人稱的外部觀察者所感知的東西與作為第一人稱的當事人所感知的東西是不同的，生成主義采用的策略是，在二者之間搭建一個解釋學循環之橋。這就像我們從生命的基本形式出發，經歷了生命發展的從簡單到復雜的進化，最后以生物學家研究生命的基本形式結束。這似乎是一條循環往復的麥比烏斯環，一個怪圈。從起點出發，轉了一圈，又回到原點。考察的對象變成了正在探尋的主體。與此類似，生命作為自我升級智能體考察的對象，通過“自指”和“超越”變成了正在探尋的主體。生成主義為自我升級智能體的提出奠定了認知基礎。自我升級智能體理論的成功為生成主義提供了一個有利的例證。

更有認知意義的是，像哥德爾機那樣的自我學習升級方式也可以涌現出某種創造性，按照施米德胡貝爾、奧索(Orseau(25))等人的觀點，可以加載類似“人工好奇心”(artificialcuriosity)的功能，這種聰明的智能體可以像一個好奇的兒童面對紛繁復雜的全新世界不斷去探索、理解、發現和解決全新的問題，盡量增進對現實環境的理解，降低對可能環境的不確定性，最終成為能解答通用問題的通用智能體。在這個意義上，結合合適的“目的因”(效用函數)，自我升級智能體的誕生具有重要的認知意義。

五、機器意識研究的困局：以哥德爾機為例

以下我們以哥德爾機為例，探討機器意識哲學研究面臨的困局。主要討論三個問題：哥德爾機器真正具有自我意識嗎？哥德爾機器會導致智能爆炸嗎？從哲學上看，哥德爾機在理論上的困局是什么？

哥德爾機是否可以具有自我意識？如果能，那它是一種功能意識，還是一種現象意識？回答這個問題之前，首先要區分兩種情況：其一是機器看起來像是有自我意識的樣子，也就是說，機器具有了“功能意識”；其二是機器真的具有了自我意識，而且它還知道自己具有了自我意識。這大致相當于現象意識。

如前文所述，既然哥德爾機可以“自我反思”，可以通過“自指”進行自我升級，如果人類的意識僅僅是通過自我模擬進行自我反思的話，那么機器也完全有可能模擬看起來具有意識的人類。人們只需要制造出一個同樣具有兩種自我的機器：一種虛擬的機器(記憶自我)和一種純算法的執行機構(經驗自我)，那么這種機器就可以表現得像是有自我意識的裝置了。人們甚至可以用這樣的系統定義自我意識。然而，這就說明機器“真的”具有了自我意識了嗎？答案需要等待對“意識”的科學解釋。因為到目前為止，科學界尚沒有一個公認的關于人的“意識”的科學理論，所以這里所謂的機器具有自我意識，只是根據我們的定義機器“看起來”具有了自我意識，還不能說機器真正具有了自我意識，更遑論機器知道自己具有了自我意識，解決了知道自己知道、知道自己不知道之類的認識論難題。實際上，我們說哥德爾機具有“自我意識”只是一種“功能意識”。目前哥德爾(實體)機并沒有創制出來，即便是造出來了，可能離真正具有意識還有很長的路要走。

自我升級智能體的建構有何風險？是否會導致智能爆炸？如前所述，哥德爾機可以通過在模擬器上搜索而尋求讓自己優化的方案。我們只需要將搜索到的虛擬代碼裝載到實際的執行系統上，那么哥德爾機就可以不斷地修改自己的代碼而升級下去。這樣的機器做出來之后會有什么后果呢？由于哥德爾機具備不斷自我改進自己代碼的能力，亦即，這個智能系統可以通過不斷地提升自己的能力而優化，這個過程會越來越快地持續下去，從而有希望很快超過人類的智能。一旦達到了這樣的智能，哥德爾機是否自己就會設計出更強的哥德爾機，從而讓整個智能過程加速，從而導致智能爆炸？

對此我們不能過于樂觀，認為智能爆炸會開啟智能新時代。因為如前所述，哥德爾機也具有博斯特羅姆所說的“目標正交性”問題，即便有引發智能爆炸甚至達到技術奇點(TechnologySingularity)的可能，也未必是往好的方向發展。雖然哥德爾機相對于其初始給定的效用函數是全局最優的，如果初始給定的效用函數有問題的話，比如，與既定的目標有偏差、沒有真正反映人的真實意圖，甚至是有敵意的或邪惡的，那么，相對于這種效用的全局最優只會更可怕，極有可能收斂到最壞的情形，甚至危及人類安全。另一方面，根據帶參數的克林尼定理，持續升級的哥德爾機并不是完全徹底的自我迭代升級，而是需要將新獲取的有關環境的信息和計算資源的信息編碼到參數里，然后再借助相同的“自指”過程升級。這種升級過程并不是一種指數迭代，能不能收斂到技術奇點都存疑。退一步說，就目前的技術水平，我們離智能爆炸的實現還有很長的距離，機器不至于成為人類的“終結者”，或許有辦法阻止其終結人類，比如，可以令其通過合作逆強化學習的辦法學習加載人類的價值觀。所以，不管是哪一方面，目前遠不至于對人類構成真正的威脅。

哥德爾機的理論困局是能否實現真正的機器意識，破解意識之謎。這顯然不是一個科學問題，而是一個哲學問題。通過考察理性主義與經驗主義、分析哲學與現象學在這個問題上的分歧和爭論，可以為我們提供化解困局的啟迪。深受人工智能思想影響的哲學家麥克德莫特(McDermott)在他的《純粹理性批判》論文中深刻指出，歷史上許多沒有出路的人工智能研究“只是因為對哲學家們昔日的失敗一無所知，才得以維持”。(26)從細胞自動機到哥德爾機的發展歷程，不難看出其中始終貫穿著理性主義和經驗主義的較量和爭鋒。馮·諾意曼在自動機研究中盡管對概率和統計的因素有所考慮，但他主要偏重演繹邏輯和計算等理性因素而忽視統計數據等經驗因素。這就使他即便走到了自我升級智能體的大門口卻止步不前。哥德爾機一方面通過通用求解器采用統計學習的模型和工具與環境進行交互，這是經驗主義的方案，另一方面通過通用搜索器內嵌的形式系統不斷搜索，把搜索到的最優策略裝載到實際的執行系統中以實現系統優化升級，這是理性主義的方案。另外，考慮借助帶參數的克林尼定理構造的哥德爾機的話，還可以實時地把新的經驗數據和計算資源通過參數的方式編碼進去，然后借助“自指”的方式不斷改進、持續升級，從而溝通了經驗和理性兩個方面，在看似對立的兩極之間保持平衡。這是自我升級智能體研究給我們的哲學啟示。

　結語：自我升級智能體發展前瞻

自我升級智能體研究正處在發展的十字路口，需要在道路和方向上做出關鍵抉擇。自我升級智能體的研究始終糾結于分析哲學傳統與現象學傳統的分歧，和人工智能中理性主義與經驗主義此消彼長的爭鋒交織。它們都各有偏頗，在理性與經驗孰重孰輕的問題上表現出某種片面的深刻性。自我升級智能體擺脫困境取得發展的可能出路是：在分析傳統和現象學傳統之間尋求一種動態平衡。這將有助于化解自我升級智能體理論的困局。

我們對上述問題的回答是：第一，自我升級智能體的建立使我們對自我意識的研究有了一個程序化的標準，借助這種形式化的方法有可能彌合學界關于機器意識的分歧，破解機器意識研究面臨的困局。第二，生成主義為自我升級智能體的提出奠定了認知基礎。自我升級智能體的成功為生成主義提供了一個強有力的例證。第三，盡管自我升級智能體向機器真正具有自我意識前進了一大步，但是我們不能說機器真正具有了自我意識。建構真正具有自我意識的系統，還有很長的路要走。就目前的技術水平看，我們離智能爆炸的實現還有很長的距離，機器還不至于成為人類的“終結者”。造成機器意識困局的癥結在于分析哲學傳統與現象學傳統的分歧和偏頗。解決的出路在于：從對立到相容，從互斥到互補，進而達到融通的新境界。

　注釋：

①瑪格麗特·博登：《AI：人工智能的本質與未來》，孫詩惠譯，北京：中國人民大學出版社，2017年，第145頁。

②autopoiesis(自創生)這個詞意指自我生產或自我復制。生命系統是自創生的(autopoietic)，它們將那些能夠產生必要部件并能夠持續發展的過程組織了起來。那些并不能自我產生或復制的系統被稱為它生產的(allopoietic)，例如，一條河流或者一塊鉆石。自我復制智能體、自我升級智能體都屬于自創生系統。

③參見JohnVonNeumann,TheoryofSelf-ReproducingAutomata,Urbana,Illinois:UniversityofIllinoisPress,1966.

④StephenWolfram,ANewKindofScience,Champaign:WolframMedia,Inc.,2002,p.1.

⑤參見FranciscoJ.Varela,PrinciplesofBiologicalAutonomy,NewYork:ElseverNorthHolland,1979,p.55.

⑥JürgenSchmidhuber,"UltimateCognitionàlaGdel,"CognitiveComputation,vol.1,no.2,2009,pp.177-193.

⑦參見DouglasHofstadter,Gdel,Escher,Bach:AnEternalGoldenBraid,NewYork:BasicBooks,1979.

⑧RogerPenrose,TheEmperor'sNewMind:ConcerningComputers,Minds,andtheLawsofPhysics,NewYork:OxfordUniversityPress,1989,pp.40-97.

⑨WilliamLawvere,"DiagonalArgumentsandCartesianClosedCategories,"TheoryandApplicationsofCategories,vol.92,1969,pp.134-145.

⑩NosonS.Yanofsky,"AUniversalApproachtoSelf-referentialParadoxes,IncompletenessandFixedPoints,"TheBulletinofSymbolicLogic,vol.9,no.3,2003,pp.362-386.

(11)WilliamLawvere,"DiagonalArgumentsandCartesianClosedCategories,"pp.134-145.

(12)JürgenSchmidhuber,"GdelMachines:FullySelf-referentialOptimalUniversalSelf-improvers,"inBenGoertzelandCassioPennachin,eds.,ArtificialGeneralIntelligence,Berlin:Springer,2007,pp.199-226.

(13)FredCohen,"ComputerViruses--TheoryandExperiments,"ComputersandSecurity,vol.6,1987,pp.22-35.

(14)DanielKahneman,Thinking,FastandSlow,NewYork:Farrar,StrausandGiroux,2011,pp.377-385.

(15)DmitriiManinandYuriI.Manin,"CognitiveNetworks:Brains,Internet,andCivilizations,"inB.Sriraman,ed.,HumanizingMathematicsandItsPhilosophy,Switzerland:BirkhuserBasel,2017,pp.85-96.

(16)NickBostrom,Superintelligence:Paths,Dangers,Strategies,Oxford:OxfordUniversityPress,2014,pp.105-114.

(17)BasSteunebrinkandJürgenSchmidhuber,"TowardsanActualGdelMachineImplementation,"inP.WangandB.Goertzel,eds.,TheoreticalFoundationsofArtificialGeneralIntelligence,NewYork:Springer,2012,pp.173-195.

(18)HarryG.Frankfurt,"FreedomoftheWillandtheConceptofaPerson,"TheJournalofPhilosophy,vol.68,no.1,1971,pp.5-20.

(19)TomEverittetal.,"Self-ModificationofPolicyandUtilityFunctioninRationalAgents,"inBasSteunebrink,PeiWangandBenGoertzel,eds.,ArtificialGeneralIntelligence,Proceedingsofthe9thInternationalConference,AGI2016,NewYork,USA:Springer,2016,pp.1-11.

(20)MaxTegmark,Life3.0:BeingHumanintheAgeofArtificialIntelligence,NewYork:PenguinRandomHouseLLC,2017,pp.26-31.

(21)RaySolomonoff,"Complexity-BasedInductionSystems:ComparisonsandConvergenceTheorems,"IEEETransactionsonInformationTheory,vol.24,no.4,1978,pp.422-432.

(22)DanielKahneman,Thinking,FastandSlow,pp.377-385.

(23)LaurentOrseauandMarkRing,"Space-TimeEmbeddedIntelligence,"inJoschaBach,BenGoertzelandMatthewIklé,eds.,ArtificialGeneralIntelligence,Proceedingsofthe5thInternationalConference,AGI2012,Oxford,UK:Springer,2012,pp.209-218.

(24)KarlSvozil,Physical(A)Cau

Tags：人工智能AIXnem人工智能技術應用學人工智能后悔死了人工智能考研考哪些科目AIX幣AIX價格nem幣是什么幣

火星幣