# 弗朗索瓦·肖萊：如何衡量智慧 > Keras 作者談智慧的定義與度量、技能與泛化的區別，以及 ARC 基準背後的核心思路。 - 原標題：#120 – François Chollet: Measures of Intelligence - 期數：第 120 期 - 釋出日期：2020-08-30 - 嘉賓 / 主題：弗朗索瓦·肖萊 - 網頁版：https://lex.qiaomu.ai/tw/ep/francois-chollet-2/ - 官方頁面：https://lexfridman.com/francois-chollet-2/ - 精讀字數：約 8901 字（閱讀約 20 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 ## 一道人類小孩能過、AI 過不去的題 2019 年 11 月，弗朗索瓦·肖萊（François Chollet）放出一個叫 ARC 的測試集。一千道題，每道題的形態都差不多：給你幾張彩色網格圖，每張圖對應一個輸入和它對應的輸出，你要從這幾組示範裡看出變換規則，然後對一張新的輸入圖給出正確的輸出。 人類看一眼就能做，小孩也能做。當時最強的機器學習系統，得分是零。 幾個月後 ARC 上了 Kaggle 比賽。有人在兩週內把分數從零推到了非零。到 Lex Fridman 和肖萊做這期對話的時候，最好的演算法解出了測試集約 20%。人類接近 100%。 這個差距背後，是一整套關於"智慧到底是什麼"的誤解。肖萊為此寫了一篇論文，《論智慧的度量》（On the Measure of Intelligence）。他想說清楚一件事：我們過去幾十年在 AI 領域衡量"進步"的方式，大部分時候衡量的是錯的東西。 ## 少年時代的兩個思想源頭 Lex 開場問的是，哪些思想家影響了他。肖萊提了兩個名字。 第一個是讓·皮亞傑（Jean Piaget），瑞士心理學家，發展心理學的奠基人。肖萊十幾歲讀他的書，那是 1930 到 40 年代的工作，很多結論已經被後來的發展心理學修正甚至推翻。但真正擊中他的不是具體結論，是一個念頭：**智力和心智是人在一生中一點點建構出來的東西，小孩是分階段建構的。**這個念頭對做 AI 的人來說太要緊了，因為你在做的事情，本質上是讓人造系統也走一遍類似的建構過程。 第二個是傑夫·霍金斯（Jeff Hawkins）的《On Intelligence》。霍金斯是神經科學家，書裡提出一個圖景：心智是一個多尺度的、分層的時間預測模組的層級結構。肖萊說他當時最喜歡的一句話是"認知即預測"。那是深度學習爆發之前，分層的思想在 AI 裡已經存在很久了，1980 年代就有人提，但真正找到實用實現方式，要等到深度學習。 Lex 追問記憶的部分。肖萊給了個挺有意思的類比：大腦更像是稀疏訪問的儲存器，你可以非常精確地把某段經驗調出來，你能自省，你能對自己提問。而語言，就是讓你做這件事的工具。 > 我認為語言是心智的作業系統。語言的一個用途，是你在自己的記憶上跑的一個查詢。你用詞作為鍵，去取回特定的經驗、概念或念頭。（弗朗索瓦·肖萊） 這個類比往下推會很自然：語言既是你存放念頭的方式，也是你取回念頭的方式。肖萊說，假如你沒有語言，你就沒有一個由內部觸發的、主動檢索過去唸頭的通道。你只能靠外部刺激，看到一個熟悉的場景，聞到一種熟悉的氣味，記憶才被帶出來。你沒法主動去調它。 ## 語言是作業系統，但不在最底層 Lex 接著拋了個喬姆斯基式的問題：語言是不是認知的最底層？是不是"思考這件事"的根基？ 肖萊直接說，不是。他不同意喬姆斯基。**語言是認知之上的一層。**按他的比喻，語言是大腦的作業系統，而作業系統是跑在計算機之上的一層。計算機先於作業系統存在，但作業系統是讓計算機真正變得有用的那層東西。他補了一句玩笑：這套作業系統多半是 Windows 不是 Linux，因為語言很亂，很難內省，很難看清內部。 那語言之下是什麼？肖萊的答案是：在學會用詞思考之前，我們是用情緒、用空間、用身體動作來思考的。嬰兒大機率是用他們見過的動作、能做出的動作、以及環境裡物體的運動來表達念頭的。視覺類比和運動，是心智最基礎的磚塊，這一點在語言裡也留了痕跡，語言裡充滿了空間隱喻。 Lex 說他自己是那種必須把東西落到紙上才能思考的人。肖萊不一樣，他說自己是很強的視覺型思考者，會在腦子裡把概念放進一個二維空間，像在地圖上導航一樣在概念空間裡移動。Lex 說他只能沿著紙面旅行，沒法在腦子裡走。肖萊笑著叫他"平面國居民"，然後又反問：即使你寫論文，你腦子裡難道沒有一張論文的空間地圖嗎？你知道各個想法之間拓撲上的位置關係，像一張地鐵圖。 Lex 承認是這樣。寫論文像是一次雙向路徑搜尋，從起點出發，也從終點倒推，最後看兩邊在哪裡接上。就像遊戲裡從兩端同時做 A 星搜尋。 ## 心智地圖、拓撲空間與幾何空間 話題轉到心智地圖（mind map）。肖萊說，心智地圖是把腦子裡的那團亂麻搬到紙上，搬出來之後你反而更能控制它。做法是：中間寫一個核心概念，比如"智慧"，然後往外畫聯想連線，想到什麼畫什麼，可以畫詞也可以畫圖形。最後長出來的通常是一張圖，一張沒有根節點的地鐵圖。有些節點連得多、更重要，有些節點是終點站。 Lex 說他有 OCD，一想到"智慧"下面掛了"語言""運動"，就會開始糾結這個分類是不是最優的，會不會被卡死。肖萊的回答很輕鬆：這是你的心智地圖，你想畫什麼連什麼都可以，覺得中心節點不對，就再畫一張。 這裡有個更深的點，肖萊把它講透了。他說心智地圖的價值在於它施加的語法結構很少，比寫段落自由得多。你把想法先以低結構的形式攤在紙上，然後再用段落去組織它。他說了一句挺狠的話：**如果你不把想法寫下來，你怎麼知道自己對這個東西到底怎麼想的。** 然後是拓撲和幾何的區別，這段很關鍵。 > 如果談拓撲，點與點之間要麼連著要麼沒連著。拓撲更像地鐵圖。幾何是你在意兩點之間的距離。地鐵圖裡你其實沒有距離的概念，你只知道有沒有一趟車從 A 站到 B 站。（弗朗索瓦·肖萊） 而深度學習在做的事情，恰好是幾何的。概念向量、詞向量，全都帶距離，用內積去表達關係。**深度學習的整個底座是連續的、可微的，一旦你的空間是離散的，就沒法做深度學習了。**你要在深度學習裡搞拓撲，只能把拓撲嵌進一個更大的連續空間裡。肖萊說他相信拓撲空間是比幾何空間更好的承載念頭的媒介，人腦裡大機率有某種拓撲式的處理，因為大腦本質上是高度聯想性的。 ## 智慧的定義：把過程和產物分開 Lex 把話題拉到那篇論文。他先問了個半開玩笑的問題：兩百年後如果有本講人工智慧的教科書，肖萊的頭像旁邊會配一句什麼話，用來定義智慧？ 肖萊的答案很乾淨。 > 智慧是你獲取新技能的效率，這些技能是你在事先不知道、也沒有準備過的任務上的。智慧不是技能本身。智慧不是你懂什麼，也不是你能做什麼。智慧是你學習和掌握新東西的效率，有多快、有多好。（弗朗索瓦·肖萊） 他引了愛因斯坦那句話：衡量智力的標準是改變的能力。肖萊說自己喜歡這句，但它只抓住了一部分。智慧更精確的說法是"適應的效率"：你能多高效地適應環境，多高效地掌握它，多高效地學會新技能。 這裡有個關鍵的區分，肖萊反覆強調：**智慧屬於過程，技能屬於過程的產物，兩者不能混。**一個很聰明的人類程式設計師看著國際象棋，寫下一個能下棋的靜態程式，智慧在於開發這個程式的過程，程式本身只是這個過程的結晶。你怎麼判斷程式本身不智慧？換個場景就行：讓它去下圍棋，它就不行了，除非人類再介入。因為智慧的來源，那個能完成"生成"這件事的主體，是那個程式設計師。 肖萊給了一個類比：**別把修路公司和某一條具體的路搞混。一條路把你從 A 帶到 B，而一家修路公司能從任何地方修到任何別的地方。** 由此他引出一個更嚴格的定義：一個好的智慧測試，考察的應該是"開發者無感知的泛化"（developer aware generalization）。意思是，系統要泛化到的新情境，不僅系統自己沒見過，連造它的人也沒見過、沒預見到。這個定義比普通的"系統中心泛化"更狠一層。自動駕駛裡的邊角案例就是這個東西：設計訓練資料的人不知道會碰上什麼，訓練資料裡也沒有，系統必須自己扛。 ## 先驗與經驗：對比人和機器時，必須控制的兩個變數 接著 Lex 問了個具體例子：開車。絕大多數人這輩子在真正學開車之前，已經看了無數車、坐了無數次車、看了無數關於車的電影。神經網路也是這麼幹的，喂大量資料。那要多少推理上的"天才一躍"才能真的開好車？ 肖萊用了一個換位場景來回答：假設你在矽谷學會開車，然後去東京租了輛車。現在所有人都在另一側行駛，路牌不一樣，路更窄。一個普通的聰明人應該能零樣本（zero shot）直接上手，儘管這個新環境裡的新複雜度，和他過去接觸過的任何東西都不重合。這種新複雜度，靠"在美國學開車"的經驗做插值，覆蓋不了。 Lex 追問：那開車算不算今天最有實際影響力的智慧測試？我們什麼時候能過？ 肖萊說他不覺得開車是多好的智慧測試。因為沒有任何一個任務，單靠做它的技能就能證明智慧，除非這個任務是"獲取新技能"的元任務。開車完全可以不用多少智慧就解決：如果有無窮的訓練資料，端到端深度學習模型直接就能開。唯一的麻煩是收集一個足夠全面的資料集，覆蓋可能遇到的長尾情境。這是規模問題，不是原理問題。但他覺得這條路效率很低，會撞上收益遞減。換成手工工程的方式，用深度學習模組加一個顯式的車輛周邊環境模型，再用巧妙的方式把兩者接起來，模型會更早、更有效地開始泛化。 但就算你做出了 L5 級別的車，肖萊說這也不證明通用智慧。**檢驗通用性的唯一辦法，是看它在未知任務上的技能獲取。**比如把你的 L5 司機拿過來，讓它學開商用客機，然後看需要多少人類介入、多少訓練資料。這個數字才是它智慧的度量。 這裡 Lex 插了個反思，說開車這個黑箱會以一定速率生成新情境，也就是所謂的邊角案例，所以它是有"新"的。肖萊承認這是很長的長尾，但長尾不代表不能靠統計模型加海量資料解決。Lex 順著說：如果一輛車達到了 L5，它就是能處理新情境的。肖萊回：資料太大了，新情境出現的速率太低。**那不叫智慧。** 於是定義又轉回來了：智慧是在真正新的情境裡適應的效率，這些情境不是系統的創造者能預見到的。如果一個系統要學會新技能，需要一份覆蓋幾乎全部可能情境的超大訓練集，那它不智慧，它基本上就是一張查詢表。同理，如果需要人類工程師寫下覆蓋幾乎所有情境的規則，那也不智慧，那個系統只是人類心智裡發生的過程的輸出產物，它編碼的是人類心智產出的抽象，而**智慧恰恰是自主產出這種抽象的過程**。 Lex 說這裡有點灰。肖萊承認是灰的：深度學習確實也做抽象，也確實泛化，只是泛化一點點。泛化不是二元的，是光譜。但他堅持：智慧是你泛化到訓練分佈之外的能力，既看能走多遠、多新，也看效率多高。他給了一個"資訊轉換率"的說法：設想一個可能情境的空間，你已經覆蓋了一部分，這來自你已知的情境加上系統自帶的先驗知識。系統的任務是從這些資訊出發，產出一個行為程式，覆蓋這個情境空間的一大片區域。那片區域和起始資訊量之間的比值，就是智慧。 ## G 因子是真的嗎：從健身說起 話題轉到對人的測試。肖萊介紹了心理測量學（psychometrics），心理學裡專門量化心智屬性的分支，包括認知能力、智力，也包括人格特質。他說這個領域名聲不算好，因為心理學常被詬病結果不可復現，但心理測量學其實有不少相當穩固、可復現的結果。 一個好的測試應該滿足四條：可靠（可復現）、有效（真的測到它聲稱測的東西）、標準化（能在統一條件下施測於很多人）、無偏（比如題目涉及英語，就得意識到這對母語非英語的人有偏）。他說這些是理想，現實裡不是每個測試都做到，但至少這個領域知道自己有哪些弱點。 然後就是 G 因子。你跑一堆非常不同的測試，語言、空間視覺、心理旋轉、數字等等，跑大了之後會看到結果之間成群的相關性。數學好的人統計上物理也好，而且數學物理好的人，在聽上去完全不相關的寫作上也更好。統計上解釋這種相關群的辦法，是引入一個潛變數。**G 因子就是那個解釋"所有你能想到的智力測試結果彼此相關"的潛變數。**它是統計構造，你沒法在一個人身上直接量到它，但它在，在大樣本上它在。 肖萊特意說，他對心理測量學的興趣不在刻畫某一個具體的人。給他一個人的 IQ 或人格測評，他不覺得那能告訴他多少關於這個人的事。**心理測量學作為統計工具才有用，在規模上才有用**，因為交叉相關大量結果，能讓你看到人類心智結構，特別是人類認知能力的結構。而這恰恰和 AI 相關。 Lex 說他剛接觸 G 因子時覺得它像占星術，像心理學家的自我安慰。後來才慢慢接受它在統計上是真的。 肖萊補充了主流的結構理論：CHC 理論，以三位心理學家 Cattell、Horn、Carroll 命名。它把認知能力描述成一個三層級的結構。頂層是 G 因子，中間是寬泛認知能力（比如流體智力，覆蓋一大類彼此相關的任務），底層是狹窄認知能力，更接近任務特定的技能。不同的統計分析會長出不同的理論，但都指向一個頂部帶 G 因子的層級。 然後是一段非常重要的澄清。肖萊說，G 因子的存在，**並不意味著人類智力在強意義上是通用的**。它不意味著高 IQ 的人能解決任何問題。他用健身來類比。 體能（physical fitness）是個很有用的概念，你直覺上懂它。有人體能好，有人差一些。但沒人會飛。體能被約束在一組特定的技能上。就算你體能極好，也不代表你能在任何環境裡做任何事。你不能飛，不能在海底活。如果你要嚴格定義和測量體能，你會設計一套測試：百米跑、踢足球、打乒乓球、游泳。跑很多人之後你會看到相關性，足球好的人衝刺也好，你會用"身體能力"來解釋這些相關性，就像認知能力一樣，你還會看到生理指標的相關，比如肺活量和跑得快相關，就像認知能力有神經生理相關物一樣。最後在體能層級的頂端，你會得到一個"體能的 G 因子"。 而正如剛才說的，體能高的人不會飛。**人類的形態和生理根本不通用，它是高度特化的。**我們只能做進化塑造我們去做的事，我們沒法在金星、火星、太空真空或海底存在。 但這裡有個真正驚人的地方：**我們的形態，泛化得遠遠超出了我們進化時所處的環境。**我們進化來是在草原上追獵物的，可我們能爬山、能遊過湖、能打乒乓球，乒乓球和進化給我們的任務差得很遠。我們的身體、感官和運動能力有一種驚人的通用性。肖萊說認知很像這樣。我們的認知能力泛化得遠遠超出了心智最初被設計來做的事，所以我們能玩音樂、寫小說、上火星。但它同樣不通用，就像人的身體按體積算在宇宙大部分地方都不合適一樣，人類心智在潛在問題空間的大部分地方也不合適。我們帶著很強的認知偏誤，有些問題處理得極好，有些完全沒適應。 所以 G 因子的正確解讀是：它標誌著最寬泛的那一層認知能力，而不是強通用性。人類的能力，不管是感知運動還是認知，仍然高度特化於人的處境。**但正因為我們的環境多變、快速變化、極難預測，驅動我們進化的約束本身就包含了"通用性"這一項。**我們被進化成能在各種物理和認知環境裡即興發揮，結果就是我們得到的身體和心智，能用到的範圍遠大於進化給出的用途。 ## 人類天生帶在身上的四套先驗 聊到 IQ 題目的難度。肖萊說，沒有"內在就難"的題目。**難，永遠是相對於你已經知道、已經會做的東西而言的。**IQ 題通常的形式是：給你一組示範的輸入輸出對，再給你一個測試輸入，你要識別或產出對應的輸出。在這個框架下，一道難題就是：給定訓練樣例，這個輸入是極其出乎意料的。 他舉了旋轉題的例子。如果給兩個訓練樣例，再給的測試輸入其實就是兩個訓練樣例之一，那泛化難度是零，這題是平凡的，你認出它是訓練樣例就照抄答案。如果形狀複雜一點，泛化稍多，但你做的仍然是訓練時被示範的同一件事。真正的難題開始需要一定量的測試時適應、一定量的即興發揮。 他換成量子物理課的例子。你想考學生對材料的理解，就會出一份和他們在網上刷題時見過的東西很不一樣的卷子。想放水，就出和模擬題很像的題。難題迫使你即興，迫使你做和以前見過的不一樣的事。但即便如此，**需要即興的卷子也不是內在就難**，因為如果應試者本身就是量子物理專家，這題對他不新。所以難只相對於應試者已有的知識和關於任務的資訊。這就是他反覆說的"控制先驗"。 Lex 提到自己發郵件問過肖萊什麼是真正難的 IQ 題，也和一些出題人聊過。這些人對正確答案保密得很嚴，題目一旦被知道解法就廢了。肖萊說，解法本身就隱含在訓練樣例裡，一旦把訓練樣例放出去，就完了。ARC 裡也留了一個沒人見過的私有測試集，就是這個道理。 接著肖萊系統講了人類的核心知識先驗。這部分來自哈佛的伊麗莎白·斯佩爾克（Elizabeth Spelke）的核心知識理論，一共四套系統，是我們生來就有、或者被硬編碼成在極早期就會獲得的。**如果一種知識你被預設成幾周內就能習得，那和生來就有也沒什麼區別。** - **物體性（objectness）和基礎物理。**一個整體協調運動的東西，就是物體。我們天生就按"物理上是否協調"把世界切成物體。基礎物理包括物體能互相碰撞、能互相遮擋。 - **主體性（agentness）。**被你切出來的物體裡，有一些是主體，也就是有目標、能追逐目標的物體。兩個點大致同步地動，你會直覺判斷其中一個在追另一個，一個在逃、一個在抓。斯佩爾克證明，三個月大的嬰兒就能識別環境裡的主體性和目標導向。 - **基礎幾何與拓撲。**距離的概念、在環境裡導航的能力。這在神經層面是硬編碼的，由海馬體裡的網格細胞和位置細胞支撐。 - **數字。**數字不是文化建構，我們天生就能做基礎計數、能比較數量。給你三個點和五個點，你能指出哪邊多。 肖萊說這個清單可能還不完整，斯佩爾克還在考慮是否會有新的知識系統，比如處理社會關係的系統，不過那個和 ARC、IQ 測試關係不大。 說到旋轉，有個很有意思的實驗。1970 年代有人發現，給被試兩個形狀，其中一個是否是另一個的旋轉版本，讓人判斷，**反應時間和旋轉角度呈線性關係**。就好像你腦子裡有個轉速固定的轉盤，你想知道兩個物體是不是旋轉關係，就把物體放上轉盤，讓它轉一會兒，匹配上了就停。 ## ARC 的設計邏輯 肖萊說 ARC 是儘可能把論文裡那些原則實現的一次嘗試，但遠不完美，受限於當時的條件。它的格式很像經典 IQ 測試，特別是瑞文推理測驗（Raven's Progressive Matrices）。每個任務有一組訓練用的輸入輸出對，輸入輸出都是彩色網格，網格尺寸可變。給你幾張示範，再給你一個新輸入，你要產出正確輸出。 ARC 的關鍵約束是：**每道題只能用到核心知識先驗，不能用到任何外部知識。**沒有語言，沒有英語，沒有樹、狗、貓這類從人類經驗裡來的概念，只有建在核心知識先驗之上的推理任務。有些題是在刻意探測特定形式的抽象。肖萊說，他做 ARC 的一個動機是：面對"機器如何自主生成抽象"這麼一團模糊的問題，你必須讓解和問題一起進化。設計 ARC 也是為了讓自己的想法更清晰。 和 IQ 測試最大的不同是**先驗被明確化了**，IQ 測試通常不這麼做。ARC 也更雜、更豐富，而且常常要手工在網格上點來點去做解，網格有時大到 30×30 格。 出題的過程。肖萊說這相當難，因為硬性要求是每道題都必須新穎、獨特、不可預測。你不能造一個簡單到人類能反過來寫出一個"能生成所有 ARC 題目和答案的演算法"的小世界，那測試就徹底廢了。所以你一直在想新東西。他給了一句很實在的話：**作為人類，你並不是一個很好的"無法造假的新穎性"的來源。**你一天能想出的真正獨特的題目是有限的。所以出題很大程度要藉助別的東西。 Lex 問是不是考慮過眾包。肖萊說是，眾包可行，需要幾層篩選，好處是能做出一份更大、更多樣的 ARC 資料集，也能去掉一部分他個人的偏見。但有一個前提必須守住：**用來真正評測演算法的測試集，絕不能讓開發演算法的人看到。**否則人類工程師會自己把題解了，把解法編碼成程式。這樣你看到的仍然是智慧在人類心智裡發生的過程，你抓住的只是它的結晶，而這個結晶本身不智慧。 ARC 還帶來一個意外：很多人把它當遊戲玩，包括小孩。肖萊說他釋出的時候是當基準測試釋出的，結果大家當謎題玩起來了，他覺得這挺好的。 Lex 說了一個很妙的觀察：ARC 因為身處"機器智慧測試"這個語境裡，會逼著你去想智慧的本質。你作為人類去解 ARC，會被迫內省自己是怎麼想出解法的，被迫反思人類的問題解決過程，反思你自己的心智怎麼給面對的問題生成抽象表徵。肖萊同意，說這大概是因為 ARC 建立其上的核心知識先驗集合太小了，全是極少數假設的重組。 ## 泛化的三個層級 肖萊在論文裡把泛化分成幾層，這段很有用。 最低一層，是機器學習在做的事：假設任何新情境都從一個靜態的可能情境分佈裡取樣，而你已經有這個分佈的代表性樣本，也就是訓練資料。你泛化到一個已知分佈的新樣本上，新在哪、差在哪，開發者都已經理解。這對應的是**魯棒性**，你對噪聲、小變化之類的東西穩健，在一個固定的、透過訓練資料已知的分佈上。 更高一層是**靈活性**。比如 L5 自動駕駛，或者能透過"咖啡杯測試"的機器人（給你一間國內隨便哪裡的廚房，你去把咖啡做好）。靈活性是應對"未知的未知"，在一個特定任務裡，去處理那些系統的創造者根本預見不到的維度。自動駕駛的長尾情境就是靈活性。 最高一層是**極端泛化**。它和靈活性一樣，只是不再限於某一個特定領域（開車、家務），它面向的是一個開放式的領域範圍。一臺為做飯設計和訓練的機器人，買回家後能自學園藝，幾周內學會，那它就具備極端泛化。 終極目標就是極端泛化：一個系統，能在任意任務、任意領域上達到人類水平的技能，遇到新情境時具備和人類一樣的即興和適應能力，用到的領域和任務範圍與人類相當，需要的訓練經驗也和人類相當。這就是人類水平的極端泛化。 肖萊補了一句他的判斷：他不覺得人類接近智慧的最優上界，如果這個上界存在的話。他說很可能任何系統的智慧都有一個硬上限，但人類離那個上限還遠。 ## 圖靈測試的問題在哪 Lex 問圖靈測試和勒布納獎（Loebner Prize）。肖萊說他不喜歡圖靈測試和它的任何變體，兩個原因。 第一，它是在迴避定義和測量智慧這件事，把一切都外包給一組人類裁判。而這些裁判本身可能沒有正確的方法論，沒有正確的智慧定義，也可能不可靠。這就已經違反了心理測量學的核心原則：可靠性。有偏見的人類裁判，也違反了標準化和無偏的要求。**你把所有要緊的事都外包給人了，而所有要緊的事恰恰是精確描述智慧、找到一個獨立的測試來測量它。** 第二，它製造出的激勵方向不利於科學研究。如果你的目標是騙過一組人類裁判，讓他們相信在和人說話，那你就有動力去用花招。肖萊舉了個類比：做物理，想解決瞬移問題，如果測試是"說服一組裁判相信發生了瞬移"，那大衛·科波菲爾在拉斯維加斯的舞臺上就能做到。他的表演很精巧，但那是魔術，不是物理，對理解宇宙沒有任何推進。 他還提醒，圖靈提出模仿遊戲的時候，並不是要把它當作 AI 領域的實際目標或實際的智慧測試。那是在 1950 年那篇論文裡做哲學討論用的思想實驗。他當時想論證的是：理論上，某種非常像人類心智、和人無法