# 戴維·費魯奇：IBM Watson、《危險邊緣》與和 AI 的深度對話 > Watson 專案負責人回顧它擊敗人類冠軍的過程，覆盤構建這種人機深度對話系統的經驗。 - 原標題：David Ferrucci: IBM Watson, Jeopardy & Deep Conversations with AI - 期數：特別節目 - 釋出日期：2019-10-11 - 嘉賓 / 主題：戴維·費魯奇 - 網頁版：https://lex.qiaomu.ai/tw/ep/david-ferrucci/ - 官方頁面：https://lexfridman.com/david-ferrucci/ - 精讀字數：約 9328 字（閱讀約 21 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 醫生告訴戴維·費魯奇（David Ferrucci），他的父親已經腦死亡。理由是統計學：在類似的四個條件下，有98%的機率大腦功能已經停止。費魯奇問，能不能不靠歸納統計，直接告訴我，你們憑什麼知道他大腦不工作了？回答是，這就是我們做決定的方式。他拒絕簽署不搶救同意書。大約24小時後，他父親坐在病床上，沒有任何腦損傷。 這個故事出自他和Lex Fridman聊AI可解釋性的一段，幾乎能串起整場對話的每一個主題：統計推斷的邊界、演繹推理的價值、人類做判斷時的偏見，以及為什麼我們最終需要能“講道理”的機器。 費魯奇是IBM Watson背後的負責人。那套系統在《危險邊緣》（Jeopardy）上擊敗了人類頂尖選手。後來他離開IBM，創辦了Elemental Cognition，換了一個目標：造出能和人類深度對話、共享理解的AI。搶答速度已經不重要了。 ## 生物大腦和矽基系統，到底差在哪 費魯奇本科讀的是生物，本來打算去醫學院，後來轉了計算機博士。Lex把這個問題拋給他：生物系統和計算機系統有什麼本質區別？ 他的回答很坦率：他不確定有實質性區別。把他拽進AI的，恰恰是這個預設：如果我們能讓機器思考、理解、處理資訊，如果智慧本身可以被描述成一個過程，那生物和矽基的差別在哪？可以往靈魂、往靈性的方向走，但從理智和物理層面看，他說自己沒有被說服“生物系統本質上更強”。 他補了一句關鍵的：我們不應該把目標設定成“複製人類智慧”。人類智慧有很多讓人羨慕的地方，也有很多毛病。真正該問的是：我們想要一個什麼樣的智慧？想怎麼和它交流？想讓它怎麼表現？ 而他馬上意識到這裡有個自我指涉的迴圈：他正作為一個生物大腦的人類，坐在那裡評判人類智慧的優缺點，還說我們有能力退後一步反思“智慧到底是什麼”。這件事本身就說明人類智慧相當值得羨慕。 ## 智慧的第一層：能找到函式並預測 費魯奇把智慧拆成兩層。第一層是預測能力：給你一點先驗資料，你能不能找到背後的模式，準確、穩定地預測接下來會發生什麼。變數越多、可能性越多，問題越複雜。但如果你能用更少的資料、更少的訓練時間做到，你就更聰明。如果你還能判斷“什麼值得預測”，那你更聰明，因為你在選擇通往目標的路徑。 他說，這基本上就是深度學習和機器學習在做的事。給出足夠的歷史資料，告訴它哪個輸出變數重要，它就能學著預測。能做到，就是智慧的一種形式。 但這層能力有個特點：它不需要“理解”，只需要找到那個函式。機器可以預測得很準，卻完全說不清自己是怎麼做到的，也沒法把方法教給你。這時候你可能承認它厲害，但你會覺得它像個“白痴天才”（savant），它在做一件奇怪的事，而你沒法跟它交流。 ## 智慧的第二層：說服別人你懂 第二層是費魯奇更在意的：你能不能把推理過程講出來，讓別人理解、復現、認可。他把這稱為智慧的社會屬性。 > “理解”本質上是一個社會概念。我得說服足夠多的人，相信我是用合理的方式得出結論的，是別人能理解、能複製的方式。（戴維·費魯奇） 這個說法聽著抽象，其實非常具體。他舉了個例子：你坐在辦公室裡問團隊該不該買某隻股票，有人說“買”，你問為什麼，對方說“我感覺挺好”。哪怕這人過去一直判斷準確，你也不會滿意，因為你要押上整家公司。他必須給你一個能說服你的解釋。這個解釋可能和真相無關，但它必須具備說服力。 Lex追問：那數學證明不也是這樣嗎？費魯奇說，當然。數學證明本質上也是說服。歷史上有些證明，數學家研究很久才被說服它真的證明了什麼。在數學共同體點頭之前，沒人能確定它成立。 這就是為什麼他說，人類的智慧是“綁在一起”的。我們誰也沒法單方面宣佈自己理性，得靠彼此說服、彼此審閱。 ## 《危險邊緣》那個瘋狂提案是怎麼被接下的 2004年，Ken Jennings在《危險邊緣》上連勝。IBM內部有人提議：讓計算機來玩這個節目吧。這個想法在高層轉了一圈，幾乎所有人都說不行，太瘋狂了，不能拿IBM的聲譽冒險。提案一次一次轉到費魯奇桌上，一次一次被否。 費魯奇當時在IBM研究院帶著一個團隊做開放域事實型問答（open domain factoid question answering）：不告訴系統問題是什麼、關於什麼，讓它自己去找準確答案。這正好是他多年的研究方向。2006年底，提案又轉了過來。這次他接住了。 他給自己定的期限是三到五年，最後用了四年。他說自己運氣好。 接下這個專案的時候，他私下有多大把握？Lex追問得挺直接。費魯奇的回答是：他覺得可行。原因很樸實，他做過一些初步實驗，又對開放域事實型問答的現有方法很熟。他一條一條列出已知的困難：問題不好解讀，速度不容易趕上，置信度算不準。這些事過去都沒人做好過。 真正驅動他的是一句更樸素的話：他在IBM研究院，這是研究院該乾的事。這類專案屬於那種“把技術推到極限”的型別。成了，說明路走通了；不成，至少能拿出證據說清楚這個坑到底有多深。 他後來向高管彙報時的論證方式也很工程師：給出可行性研究，展示哪裡成功、哪裡失敗、為什麼失敗，再給一個高層架構說明為什麼值得做。而高管們當時真正在找的，其實就是一個願意押上聲譽的人。 ## 難點一：題目根本看不懂 《危險邊緣》的題目不會直白地問“哪座城市”。它繞彎子、玩文字遊戲、藏雙關。幾十年前的老題目還比較直接，後來越來越含蓄、越來越幽默。人類選手讀完題目，冠軍已經搶答完進入下一題了。 費魯奇說，很多不太熟悉這個節目的觀眾會有個誤解：以為只要知識面廣就能贏。實際坐下來讀題才發現，光是搞清“它到底在問什麼”就得花上幾秒，而那幾秒裡，臺上的冠軍已經答完三道題了。 ## 難點二：答案型別是一條極長的長尾 如果題目只問“哪個城市”“哪個人”，系統還能針對性地編碼。但《危險邊緣》裡有成千上萬種答案型別，是一條極長的長尾。就算你把最高頻的幾十種型別全覆蓋，也只能覆蓋很小一部分資料。想靠“窮舉常見答案型別”這條路走通，從一開始就堵死了。 ## 難點三：機器不能上網 比賽要求一個自包含的裝置。可以跟房間一樣大，可以佔幾臺冰箱的位置，但不能連網際網路，不能有任何外部生命線。所有知識必須預先裝進機器裡。這個限制把“實時搜尋”這條最省事的路徑直接砍掉了。 ## 難點四：光靠搜尋遠遠不夠 費魯奇說，按當時的水平，即便做了網頁搜尋，大約只有65%的情況下正確答案出現在前10到20篇文件裡。而想進冠軍圈，得知率超過70%，還得快。 更麻煩的是，系統並不知道哪個答案是對的。它手裡有一堆文件，正確答案藏在裡面某個位置。它得自己把候選找出來、逐一打分、再算出一個可信的置信度。這個置信度還必須快到能在搶答視窗內算完，否則答得再準也沒機會按下按鈕。 ## 三秒鐘內的工程奇蹟 Watson的做法是：不真正理解語言，但用盡全力把問題答對。 費魯奇從專案一開始就明確表態：我們不會去真正理解語言。不會去解析問題背後的知識領域再做推理。但他同樣不認為簡單搜尋就夠了。他的假設是，現有的NLP和機器學習技術已經足夠，關鍵是能不能把它們整合好，看看哪裡會崩，崩了就補。 他有個研究員跟他說，做問答系統需要“麥克斯韋方程組”級別的突破。費魯奇回了一句：如果我們真需要一套理解語言的全新基礎公式，那我們就完蛋了。他賭的是架構整合，沒打算等一個新發明從天而降。 具體怎麼跑？ - 先做語料篩選。核心資源是維基百科、百科全書、詞典、WordNet之類的語義資源，再加上一些網頁抓取。然後用統計方法生成種子，拿種子去擴充套件搜尋，把語料擴充了一個數量級。即便如此，相對整個網際網路還是極小的一塊，大約相當於幾百萬本書，幾個TB。 - 把所有語料預先分析到極致：做句法分析和語義分析，打上標註，建一個極快、極豐富的索引，全部放進記憶體。Watson不讀磁碟。 - 硬體用IBM自家機器，接近3000個核全互聯，共享大記憶體。 - 拿到問題後，做多種解讀，生成多個搜尋查詢，並行發射出去，取回成千上萬段候選段落。 - 每段段落再並行處理，用一堆候選答案生成器（candidate answer generator）找出可能的答案。 - 每個候選答案用幾百種打分器（scorer）打分。一千個候選乘兩百個打分器，就是二十萬個分數。 - 最後用機器學習把這些分數融合起來，排序，輸出答案和置信度。 這裡有個關鍵設計：每個元件的研究者不需要理解其他元件在幹什麼。你只要證明你的元件能提升端到端的答題準確率，就能進系統。這靠的是用機器學習做分數融合，把人從“整合”這件事裡解放出來。 費魯奇的管理原則非常硬：只認端到端指標。你說你的解析器提升了2%的元件指標，那它到底怎麼影響整體答題表現？估不出來、做不出實驗，就不許進系統。這是整場對話裡最值得記下來的一條工程經驗，因為它同時解決了兩件事：技術上的可驗證性，和組織上的可擴充套件性。 他自己是這麼分工的：一條線死盯端到端準確率，看能不能答對更多題、置信度算得更準；另一條線專門分析工作流瓶頸，琢磨怎麼並行、怎麼提速。準確率和速度被拆成兩條獨立的戰線，各自推進。 ## Watson和人類選手，其實沒那麼不一樣 專案開始時，有研究人類認知的人想加入，費魯奇拒絕了。他當時立的另一個樁是：我不在乎人類是怎麼做的。至少在這個專案裡不在乎。他在乎的是在期限內把系統做出來，不能被“人類大腦會怎麼處理”這類問題帶偏。 但專案做完後，他回頭和Ken Jennings聊，發現答案和他預想的不太一樣。頂尖人類選手在《危險邊緣》裡，其實也在抄近路：快速掃一眼題目，抓幾個關鍵線索，拿這些線索飛快地在記憶庫裡做淺層匹配，一堆直覺式的判斷同時亮起，然後按下按鈕。他們並沒有在做深度推理。 所以Watson做的事，可能離人類選手沒他原先以為的那麼遠。他的出發點一直很清楚：把搜尋和NLP能做的事推到極限，從來沒打算模仿人類。這兩條路最後撞在了同一個地方，這件事本身挺有意思。 ## 從搶答到理解：什麼叫框架 《危險邊緣》的系統不解釋問題，也不解釋它讀到的內容。它做句法分析，借用語法這種人類框架，但沒有更深的語義框架：人怎麼想、為什麼做一件事、什麼導致什麼、事情在時間和空間裡的位置，這些它都不碰。 Elemental Cognition要碰的正是這些。費魯奇反覆用“框架”（framework）這個詞。框架是你看待世界時帶進來的一套底層假設和概念。比如理解一次社會政治事件，你會自動想：涉及哪些人？他們各自想要什麼？資源如何稀缺？誰對誰有權力？這些是人類共享的、幾乎不用言說的底層結構。 他認為，這些框架的數量是有限的，具體知識的數量近乎無限，但框架可以被機器習得，然後用來解釋具體情境。框架比知識更重要，因為框架是解釋和推理的骨架。你有了骨架，新讀到的細節就能掛上去；沒有骨架，細節就是一堆散落的字串。 Lex舉了個例子：讓AI讀一條關於電力的課文，回答“電是怎麼產生的”。系統可以直接從文中抄“水流過渦輪機”，但完全不知道那是什麼意思。費魯奇回應說，這正是他女兒一年級時遇到的問題：她能靠文字匹配答對，但沒有任何理解。能夠匹配到答案，和能夠理解答案，是兩件事。 他提到推理裡最有力的一種方式：類比。你沒聽過足球，但你知道籃球，球要進筐，有後衛、有防守、有進攻。那足球和籃球哪裡像、哪裡不像？有這個底座，你就能快速把新資訊掛上去。人類學習大量依賴這個機制，而機器目前幾乎沒在用。 ## 深度對話難在哪 費魯奇想要的對話，不是模仿閒聊。他形容得更像《星際迷航》裡跟企業號計算機對話：你想思考什麼？我來告訴你我掌握的資訊，我給你總結，我問你問題，你回答，我們來回推進，我搞清你的心智模型，再把你和我的資訊對齊，用你能理解的方式呈現，然後你追問。 這是結構化、目標導向的對話，但必須流暢、有參與感，不能讓人分心。機器得有一個人怎麼思考、怎麼討論問題的模型。 難的地方在於：沒有足夠的資料可以學。如果你說“去收集人類進行高質量結構化知識對話的資料”，你會發現這樣的資料本來就少，而且很難標註。什麼樣的追問算好追問？什麼樣的打斷算有效打斷？這些判斷依賴大量的隱性語境，標註成本高得離譜。 他的解法是手工啟動。先靠人的創造力，設計出“一段好的對話應該長什麼樣”，搭出一個初步系統去跟人互動，生成資料，再反過來訓練機器。這是個先手工啟動、再自動學習的迴圈。沒有第一步，後面無從談起。 他還提到另一個相關專案：IBM的辯論系統（Project Debater）。那個任務相對可控，因為辯論的結構清晰，你可以收集大量結構化的論證，標註某個回應在某個領域裡好不好。但對話更難，因為對話要求你既目標明確，又必須隨機應變。你想問清一個問題，同時得抓住對方剛說的一句話裡那個意外的線索。 ## 幽默、身體與超級鸚鵡 Lex提到《週六夜現場》那版名人《危險邊緣》，所有人在分數上都是負的，但在喜劇上大獲全勝。他問費魯奇怎麼看幽默。 費魯奇的回答分兩層。一層是：幽默有很多部分可以形式化。做Watson時他們真的坐下來研究雙關怎麼運作，無非是文字遊戲，有規則可循。也可以直接學：收集人們笑什麼的資料，讓機器給特徵加權，判斷什麼好笑什麼不好笑。機器未必能解釋為什麼好笑，但能判斷好不好笑，這本身已經有用。 另一層更難：幽默依賴於“我能不能和講這個笑話的人產生聯結”。如果我知道那是機器人，知道它沒有我這樣的意識、沒有我經歷過的體驗，我還會覺得好笑嗎？他把它類比到藝術：有些天才技藝驚人，但真正被記住的，是能讓觀眾產生情感共鳴的人。他們傳遞的不只是作品，還有自己對作品的情感反應。你感到我能和這個人連線。 但費魯奇也承認，人類非常擅長擬人化。給機器加一對眼睛、讓它動動眉毛，人就會產生情感反應。他懷疑，就算你告訴所有人這只是演算法在動眉毛，大多數人還是會投入。尤其當機器自己說“我有意識”的時候，你作為造它的科學家出來解釋演算法原理，大家只會覺得你在撒謊。 他提出一個概念：超級鸚鵡。給足資料，機器可以模仿你的情緒反應，說出在類似情境下一個人會說的話，聽起來很聰明。但它未必能給出經得起追問的邏輯解釋。麻煩在於，人類很多時候也只是超級鸚鵡。我們既是統計語言模型，也是能推理的存在，而且別人很難分辨此刻是哪一個在說話。 Lex接了一句自嘲：你這是在說我。費魯奇笑著說，很可能是，人類確實兩種模式都有。而這兩種模式混在一起說同一套話，正是判斷一個人（或者一臺機器）有沒有真本事的難點所在。 ## 身體、感官和那些我們以為天經地義的東西 Lex問，身體重要嗎？Watson沒有身體，這對它的智慧有影響嗎？ 費魯奇說，如果目標是造一個和人類相容的智慧，也就是能和人類建立共享理解的那種，那你可能真的需要給它類似的身體。因為人的身體持續產生大量輸入：情緒、感覺、各種訊號。這些訊號進到大腦，加工完又反過來影響這個身心複合體，形成一個不斷迴圈的迴路。機器沒有這個迴路。 他區分了兩件事。一件是造人形機器人，讓它長得像人；另一件是把智慧系統裝進人體，像Neuralink那種思路。他說的都不是這兩件。他說的是：想讓機器獲得和人類共享的世界理解，你得給它大量相同的基底，包括相似的感官、相似的內在訊號生成機制。 但他也明確說，這不是他的目標。他要造的是思想夥伴，不是物理夥伴。他也提到有其他公司在做物理夥伴，那是另一條路。 ## 那個關於父親的故事 Lex問費魯奇怎麼看AI做醫療診斷、司法判決這類事，是接受“不解釋也能用”的世界，還是堅持“不解釋就不許用”。 費魯奇講了他父親的事。 他父親心臟驟停，救護車到得晚，沒有立即復甦。醫生告訴他，父親腦死亡。理由是統計學：在這四個特徵下，有98%的機率腦已死亡。費魯奇說，我理解統計，但還有2%的可能他還活著。我不要歸納結論，我要你演繹地告訴我，你憑什麼確定他大腦不工作了。醫生回答，這就是我們的決策流程。他拒絕籤不搶救同意書。 他當時跟醫生講了一句很關鍵的話：如果按你的方式處理，他最後也是走，那為什麼不按我的方式試試？醫生沒有給出讓他信服的答覆。他堅持了。大約24小時後，父親坐了起來，零腦損傷。 他從這件事裡得出的結論：當你明知模型不夠健壯時，不該用統計平均值替代對具體個案的邏輯推理，並且要為此負責。醫療系統整體對他父親是淨正面的，沒有這套系統他父親可能活不到那麼久。但在那個具體決策上，用統計推斷替代演繹推理是錯的。 他把這個邏輯推到社會層面：統計上說男性暴力犯罪率更高，但我們仍然要求對每個個體做個別判斷，拒絕把統計推斷直接用在個人身上。這是一種有意識的社會選擇，出於對個體的尊重，而它需要推理能力。這條原則是人主動立起來的，它和統計結論相反，我們依然選擇它。 Lex由此引申到種族、性別這些敏感變數進入模型的問題。費魯奇的態度是一致的：技術上你得先搞清楚這個預測在這個具體場景下到底有多準，有沒有做過對照研究，直接去挖證據、做演繹推理，能比統計平均多救多少人。這些都是可以研究的問題，而現在的很多系統連這個研究都沒做就上線了。 ## AlphaZero、偏見與槓桿 費魯奇對AlphaGo/AlphaZero的評價很高，稱之為AI的巨型里程碑。他特別欣賞它解決資料問題的辦法：讓機器自我對弈，生成足夠的資料來學習。這是靠自我搏弈完成了資料啟動。這一步棋很漂亮，因為它繞開了“人類專家資料不夠”這個死結。 但他也指出它帶來的老問題：它找到了圍棋的函式，可我們能理解那個函式嗎？能談論它、概念化它嗎？如果一臺機器在下判決、定政策、做醫療決定時說不清自己在幹什麼，我們敢不敢讓它做？ 他對AI的社會風險用的詞是槓桿。給機器太多控制權是問題；更現實的是，機器是巨大的擴音器。人類本來就在用營銷、政治宣傳利用情緒和恐懼，機器可以把這個過程放大幾個數量級，還能針對每個人的偏見精細定製資訊。這套玩法很老了，但力量對比完全變了。 所以他對社交媒體推薦演算法有一種很冷靜的批評：演算法在做的事其實很簡單，看你點了什麼，找特徵相似的東西再推給你，它不做任何價值判斷，也不做任何關於意義的推理。你說這是演算法的錯嗎？它只是在匹配模式。它錯在根本沒參與理解這一層，就把決定權還給了人性的弱點。 他反覆強調一件事：當下最重要的公共對話之一，是搞清楚什麼是好的推理、什麼是認知偏見、人腦怎麼容易被騙，以及機器如何放大或糾正這一切。他建議從孩子教起：告訴他們大腦是怎麼運作的，有多容易被騙，有哪些思維模式，在什麼條件下哪種思維更管用。然後再告訴他們AI能怎麼把這件事變糟，能怎麼把它變好。 ## AGI還有多遠 Lex問時間線。費魯奇的回答很謹慎：變數太多，投入多少、多重視、能吸引什麼人才、激勵結構如何，都會影響結果。他猜大概更接近20年，而不是幾百年。 但他提了一個更尖銳的問題：我們真的有動力去做通用智慧嗎？從商業角度看，把某項技術拿去解決某個具體問題，動力很明確。可“通用智慧”本身，我們連定義都還在掙扎。你沒法為一個說不清是什麼的東西建立激勵機制。他說得挺實在：大家理解得不夠，但隨著它顯現出商業潛力，理解會跟上。 他也說到物理任務這一側。割草、開車、做三明治、吸塵，這些任務的學習能力會持續變好，機器會在許多指標上超過人類。支撐這些的底層機制可能是一樣的：深度網路、訓練基礎設施、可複用元件。你可以說這套“通用學習基礎設施”本身就是某種通用智慧。真正變難的是共享理解那一層，因為那需要機器長期、持續地和人類在意義層面互動。 ## 語言、框架和人與人的分歧 對話裡有一段特別精彩，關於同一句話為什麼會被讀成兩個意思。 費魯奇說，一句話的意義從來不止字面。你帶著什麼先在的經驗、什麼價值假設、什麼推理鏈條來讀它，決定了你最後得出什麼結論。同一個陳述，讓一個民主黨的框架去讀，和讓一個共和黨的框架去讀，結論可以完全相反，而兩者的推理過程可能同樣嚴密。 這在他看來正是AI能幫上大忙的地方：機器可以同時把兩套框架跑一遍，然後告訴你，按這組假設你會走到這裡，按那組假設你會走到那裡，你們的分歧其實在這條最底層的假定上。這一步做出來，爭論的性質就變了。 有意思的是，要讓機器做到這一點，你必須先讓它讀懂那些框架，而框架之所以難懂，恰恰因為人類從來不把它們寫下來。我們共享它們，所以預設它們存在。費魯奇說，這就是為什麼他和機器的關係必須是協作式的：機器負責發現模式、負責計算，人類負責提供解釋框架，雙方一起把理解對齊。 他還提到一個更寬的觀點：每個人的框架不同，但底層的思考機制是相似的。分歧往往來自幾條最根本的假設不同，而推理過程本身可能一樣清楚。把分歧追溯到那幾條假設上，比在結論上互相指責有用得多。 ## 為什麼這件事值得做 訪談最後，Lex問：如果有一天你真的造出了那個能和你進行深度對話、一起求真的系統，你會想和它討論什麼？ 費魯奇說，真到了那天，我就不用挑了。今天關心什麼就問什麼：去把相關的東西讀了，我們聊聊；幫我找類比；這件事會怎麼影響那個決策；如果這個假設成立呢？如果那個假設成立呢？有哪些我該知道卻不知道的知識會影響判斷？我現在的推斷是這個，你能證成它嗎？能給我支援它的證據嗎？也給我支援反面說法的證據。 > 參與進那場對話，無論是醫療診斷、治療方案、法律案件，還是一個社會議題。一場對自己、對我們都要求理性和客觀的對話。我說這話會起雞皮疙瘩，這就是我想要的。（戴維·費魯奇） 這大概就是整場對話的核心。Watson證明了一件事：在足夠窄、足夠明確的指標下，機器可以把人類冠軍拉下馬。但那只是智慧的第一層。第二層是能不能把推理攤開在桌面上，讓另一個人看懂、質疑、復現，然後說一句我信了。 這一層，人類自己也做得不好。費魯奇講他父親的故事，講的其實是同一件事：醫生拿著一個覆蓋率98%的統計模型，卻沒辦法把一個具體病人的具體情況推演清楚。機器犯的錯，人早就在犯了。而這恰恰是費魯奇認為機器最該幫我們的地方：接過我們做不好的那部分，逼我們把道理講清楚。 他在IBM的四年裡還證明了另一件事：不用等某個全新的基礎公式出現，把現有的東西組合好、把指標體系立對、把每個人的貢獻都拉到同一個可驗證的標尺上，也能造出擊敗世界冠軍的系統。這個方法論本身，比Watson贏下那場比賽走得更遠。 而現在他在做的事，難度大得多：沒有《危險邊緣》那樣清晰的記分牌，沒有現成的訓練資料，連“成功”長什麼樣都得自己定義。他自己也說，這可能更接近20年。 - 做AI專案時，把端到端指標當成唯一的驗收標準。任何元件想進系統，先證明它對最終結果有可測量的貢獻，否則別進。 - 用機器學習做元件融合，而不是靠人做整合。讓每個研究者只管自己的元件，融合交給模型，團隊才能並行推進而不互相拖累。 - 面對一個統計模型給出的結論，先問一句：這個模型對眼前這個具體個案夠健壯嗎？如果不夠，寧可退回演繹推理，也別拿平均值替個體做決定。 - 評估一個AI系統時，別隻看它答對了多少，還要看它能不能把推理過程講到讓外行聽懂、讓內行挑不出硬傷。 - 在自己做重要判斷時，刻意區分“我這麼想是因為證據”還是“我這麼想是因為它符合我原有的立場”。這個區分能力，是抵抗資訊槓桿的第一道防線。 - 和觀點不同的人爭論時，別急著在結論上互相說服，先去找到那幾條最底層的假設，看看分歧到底出在哪一層。 - 如果你想做真正有價值的AI產品，去找那些資料不夠、必須靠人先設計出結構再啟動學習迴圈的問題。那裡既有護城河，也真的需要人動腦子。