# 萊斯莉·凱爾布林：強化學習、規劃與機器人 > 強化學習研究者談機器人如何在不確定環境中規劃行動，以及學習與推理的結合。 - 原標題：Leslie Kaelbling: Reinforcement Learning, Planning, and Robotics - 期數：特別節目 - 釋出日期：2019-03-12 - 嘉賓 / 主題：萊斯莉·凱爾布林 - 網頁版：https://lex.qiaomu.ai/tw/ep/leslie-kaelbling/ - 官方頁面：https://lexfridman.com/leslie-kaelbling/ - 精讀字數：約 9872 字（閱讀約 22 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 ## 你沒法提前規劃怎麼穿過機場 設想你剛下飛機，落在吉隆坡機場。有人問你：描述一下你接下來穿過機場的完整計劃。你答不上來。 你不知道飛機停在哪個登機口，不知道入境通道排多長，不知道前面會不會有人拖著行李箱突然停下。詳細規劃無從談起。但你還是買了這張機票。你對“穿過一個大型機場有多難”有一個粗糙但夠用的估計，並且相信到了那兒自然能應付。 MIT 教授萊斯莉·凱爾布林（Leslie Kaelbling）把這個現象當成機器人研究的核心難題之一。她的說法是你必須做一個“信仰之躍”，相信到了當地能現場解決。敢跳的前提，是你一輩子積累了一堆關於“某個目標有多難達成”的抽象模型。沒有這些模型，你連機票都不會買。 她在訪談裡說，自己現在最感興趣的問題之一，就是這種極端的泛化能力從哪來。給我一個估計：穿過吉隆坡機場要多久。這個估計不能離譜。你必須先有它，才談得上做計劃。 ## 高中時被一本書擊中 凱爾布林進入 AI 的入口是一本書。高中時她讀了《哥德爾、艾舍爾、巴赫》（Gödel, Escher, Bach），這本書對她影響極大。它展示的東西很具體：原始元素如何組合出複雜結構，簡單零件如何拼出複雜事物，什麼樣的程式可能產生智慧行為。 她在斯坦福讀的本科是哲學。當時斯坦福沒有電腦科學的本科專業，但哲學系裡有個方向叫“符號系統”（Symbolic Systems），內容是邏輯、模型論、自然語言的形式語義學。她形容這個組合是“為做 AI 和電腦科學做的完美準備”。 這個細節可以多想一層。今天很多人把哲學和工程對立起來，覺得前者務虛、後者務實。凱爾布林的路徑恰好相反：她最常用的那批概念，信念、知識、指稱、不確定性，本來就是哲學系的日常詞彙，形式化程度很高，離電腦科學的日常工作只有一步之遙。 她提到畢業班的去向：不到一半繼續做電腦科學，不到一半去讀法學院，剩下一兩個留在哲學。這條路在當時並不稀奇，也沒人覺得一個想做智慧的人該去哪個系報到。 ## Shakey：一臺漏液壓油的機器人 碩士快讀完時，她被 SRI（斯坦福研究院）的 AI 實驗室招進去，任務是讓一臺機器人乾點事。那臺機器人是 Shakey 的後續機型。她到的時候，Shakey 本尊正躺在某個辦公室角落裡，往盆裡滴液壓油。 她強烈建議所有人去讀 Shakey 的技術報告。理由很硬：裡面塞滿了後來被反覆重新發明的東西。A* 搜尋、符號規劃、宏運算子的學習、基於構型空間的底層規劃、視覺、對意外物體的檢測、根據所見重新規劃，甚至推理“要不要轉頭拍照以獲取資訊”。一臺 1960 年代的移動機器人，已經把今天大量研究議題的骨架搭好了。 它在空間表示上用了多個抽象層級：底層大概是某種佔據柵格，高層是符號化的房間與連通關係。基地踢腳線被刷成黑色，用來輔助視覺定位。 這裡有個容易被忽略的點。今天人們討論端到端學習和手工建模的取捨時，往往以為多層抽象是深度學習之後才有的思路。Shakey 在半個世紀前就同時掛著柵格和房間圖這兩層表示，並且知道什麼時候該用哪一層。抽象層級這件事，跟神經網路的興起沒有因果關係。 ## 邏輯留給工程師，不塞進機器人腦袋 她在 SRI 的導師是斯坦·羅森沙因（Stan Rosenschein），後來也成了她的博士導師。他推動的一個想法叫“情境自動機”（situated automata）：邏輯推理這套工具很重要，它的使用者是設計系統的工程師，用來分析系統行為，未必要放進系統內部讓機器人自己推。 這個區分很關鍵。你可以用邏輯證明關於機器人行為的一個定理，而機器人腦子裡跑的根本不是邏輯。 她當時的處境是零基礎。沒學過控制，不瞭解感測器，一行人邊做邊把很多輪子重新發明了一遍。 問她這是優勢還是障礙，她的回答乾脆：她是“重新發明輪子”的堅定支持者。自己摸索一遍，才真正懂得好方案好在哪。她也補了一句，最後還是得拿到指路標，看清到底發生了什麼。先自己撞出一個爛方案，再看別人的好方案，理解深度完全不同。 順帶一個細節：她那時重新發明了強化學習，把“獎勵”叫作“pleasure”（愉悅）。她自己也覺得這名字更好玩。 ## AI 史的一條暗線：方法失效時，換的是問題 她講 AI 歷史時用的是“擺盪”這個詞。某個東西變時髦，過一陣涼了，另一個東西起來，再涼。 早期是控制論，是穩態調節，是那些會自己找插座充電、充完再滾出去幹活的機器人。後來人們覺得這不夠像“真正的智慧”，轉向專家系統。專家的做法是把領域知識寫進邏輯規則：我懂鍊鋼廠怎麼運轉，我講給你聽，你寫成規則，計算機就能幹這活。 然後這條路沒走通。 凱爾布林指出的現象比“沒走通”更微妙：一個方向失效的時候，社群改的不只是方法，還有問題本身。我們並沒有找到更好的辦法去做專家系統原來想做的事，我們基本放棄了那個問題，轉去做另一個問題，做上一陣子，把它做寬。 也有人會反駁說問題沒被放棄，只是做的人少了，暫時擱在架子上，二十年後再說。她認為這兩種說法都對，還有第三種可能：人們判定這個問題本身提得不對。比如“讓一個只會表層符號推理的東西表現得像醫生”這件事，在你有過當醫生的具身經驗之前根本做不成，那麼問題的形式就有毛病。 這段觀察對個人同樣適用。你以為自己在最佳化方法，其實經常在無聲地換掉問題，換成一個更好做的版本，然後告訴自己進展不錯。 ## 專家系統的死穴：人說不清自己怎麼決策 她把 80、90 年代專家系統撞牆的原因歸到一點上：那批研究假設人類能有效地把自己的知識表述成邏輯語句。 這是能力問題，跟成本和工作量無關。 她舉的例子很有說服力。所有人都是視覺專家，但沒人能內省出自己是怎麼認出物體的。這一點當時的研究者其實都懂，沒人會要求你寫出“識別水瓶的規則”。所以他們退一步：那你就寫寫怎麼決定今天穿什麼、怎麼架麥克風，這類事總說得清吧。 結果發現，專家給出的解釋大多是事後的合理化，質量並不高，底下還壓著一堆他們自己也描述不清的知覺判斷。 > 專家能給你解釋，那些解釋是事後的合理化，未必反映他們真的怎麼做的。（萊斯莉·凱爾布林） 訪談裡採訪者追問：所以問題出在把知識編碼成機器能理解的形式這一步？她連著說了幾個“不不不”。難的地方在於從你腦子裡把它取出來。你能給我講一個你為什麼這麼做的故事，但我不確定那個故事就是實際發生的機制。 人類對自身決策過程的訪問許可權，比我們願意承認的低得多。這一條對今天做提示工程、做對齊、要求模型解釋自己的人同樣成立，只是換了個方向：我們要求機器給出解釋，而人類自己的解釋本來就不太靠得住。 ## 抽象的用途：你不會用毫秒和畫素去規劃讀博 否定專家系統不等於否定符號推理。她把這兩件事分得很清。 她甚至不喜歡“符號”這個詞，覺得它在技術上和形式上都沒有清晰定義。她真正相信的是**抽象**。 論證很樸素：你不可能對生活裡每件事都做完全細粒度的推理。你沒法用影象和毫秒為單位去規劃怎麼讀完博士。要推理“讀博”或者“買菜做晚飯”這種量級的事，你必須縮小狀態空間，縮短推理視野。手段就是抽象：空間上的抽象，時間上的抽象。 所以你會說“我下午要做某件事”，不會說“我在兩點四十五分要做某件事”。你會說“我家的某個房間”，不會說“我這個姿勢下的肘部座標”。 這麼做有兩重原因。**一是讓推理問題變小，二是你本來就沒有足夠資訊去做高保真推理。**下午兩點三十五分你的肘部在哪，這件事你無從知曉，也沒必要知曉。 但在某些時刻，比如你正伸手去拿東西，你就得在連續的關節空間裡算一算肘部的位置。兩套表示，切換使用。 她反覆強調的立場是：教條不是重點。不該是“我支援符號推理、你支援神經網路”這種站隊。電腦科學本身會告訴我們這些問題的正確答案，前提是我們足夠聰明能找到它。 ## MDP 是你選擇的一個立場 訪談轉向馬爾可夫決策過程（MDP）。她的第一個回答是區分“立場”（stance）。 立場是研究者對問題採取的一個姿態。我可以決定用某套術語給身邊這個混亂的世界建模，把它當作某個形式化的問題來處理，然後套用相應的求解概念和演算法。 所以世界本身不是任何東西。它不是 MDP，也不是一個規劃問題，它到底是什麼她也說不清。但她可以把世界的某些側面建模成某種形式，而這個建模選擇決定了哪一批演算法可用。 MDP 這套模型說的是：我完全知道系統當前狀態，而“知道狀態”的含義是，此刻我掌握的資訊足以讓我對未來做出儘可能好的預測，再記住更多歷史也不會讓預測更準。同時我可以採取行動改變世界，改變的方式帶有機率性，並非確定性的。 她緊接著說，這個模型對大多數問題都不合適，因為大多數問題裡你根本不知道狀態，是部分可觀測的。 ## 信念空間：把“我以為什麼”當成控制物件 POMDP（部分可觀測馬爾可夫決策過程）的做法是：仍然假定存在某個狀態，知道了它就能做好預測，但我不掌握它。我拿到的是觀測，可能是區域性的、帶噪聲的，不能告訴我全貌。於是我得根據自己採取過的動作序列和收到的觀測序列，推斷世界上大概在發生什麼，再在這個不確定判斷的基礎上決定動作。 接下來出現了一個概念上的轉身，我認為是整場訪談最值得琢磨的部分。 **與其思考世界的狀態並試圖控制它，不如思考“關於世界的信念”構成的空間。**把信念看作世界可能形態上的一個機率分佈，那麼機器人的控制問題就變成了控制自己的信念。 這樣一來，評估一個動作時不只看它對外部世界的影響，還要看它對自己認知狀態的影響。有些動作不改變世界，只改變你的判斷，比如問一個問題、往某個方向看一眼。有了信念空間，智慧體才會主動去收集資訊。 她舉的例子很日常。**你開車時偶爾回頭看後面的車道，這個動作的價值在於它帶來的資訊，成本在於那段時間你看不見前方。要不要現在回頭，是一道權衡題。要能做這道題，就必須在信念空間裡推理。** 還有一層：對自己的不確定性本身的推理。如果我相當清楚自己相對門框站在哪，穿過去沒有問題。如果我完全不確定門在哪，那還是別動比較安全。 不確定性在這裡的身份變了。它不再只是等待被消除的噪聲，它本身就是最佳化目標的一部分。 ## “我這套方法不可解”，這話聽著奇怪 訪談裡提到一個常見說法：我不用 POMDP，因為它不可解。 她的反應是覺得這話很好笑。你要解決的問題就是你要解決的問題。如果它不可解，那才是做 AI 的人存在的理由。 > 問題求解本身在根本上不可解，我們永遠不可能最終解決它。這一點我們早就知道，它也嚇不到我們。（萊斯莉·凱爾布林） 應對方式是層層近似：建模上近似，求解演算法上近似，一步一步降到在合理時間內算得出來的東西。 她提到一個更大的隱憂：目前缺少好的近似解概念。人們做了一堆經驗性的折騰，訓練這個、調那個、報出一堆數字，好不好、為什麼好，說不清。她希望有一種形式化的解概念，能讓你在跑演算法之前就說：這個演算法大概會給我什麼。 她自嘲說，自己感興趣的是把很大的問題做得很糟。這話背後是個真實的缺口：工程的進展遠遠跑在科學前面，我們能造出東西，但不完全知道它為什麼成立。橋可以靠試錯造，現在卻能事先預測；學習系統和機器人還做不到這一點。 ## 從終點往回推的那個直覺 赫伯·西蒙（Herb Simon）早年大談手段-目的分析，從目標往回推理。這個直覺人人都有：從當前狀態往前推，可做的動作太多，分支爆炸；從目標往回推，好像分支會少一些。 凱爾布林承認這也是她的直覺。她誠實地補了一句：在規劃社群常做的那些問題類別和常用方法下，**倒推並沒有被證明更好。她拿不出證明。** 這種表達值得留意。一個做了幾十年規劃研究的教授，講到自己偏好的方法時會直說“我證明不了”。這比任何確定性斷言都更可信。 ## 人生不能整體建模成規劃問題 訪談裡有個轉彎。問到能不能把人的一生形式化成規劃問題，她的回答是：那會是個錯誤。 理由跟難度無關，問題出在方向。人生不能整體建模成一個規劃問題，你需要把不同風格的推理、表示、學習拼在一起。大腦有部件、有子結構，不是單一機制。 所以沒有理由相信存在某個唯一的、真正的演算法能把所有事都辦了。**只會有一堆零件，每個零件解決某一類特定問題。** 她順手拆了一個常見的對立：基於模型和無模型。學一個策略是直接學行為；學一個價值函式是某種中間物；學一個轉移模型，再配一個規劃器，把這兩者框在一起，輸出仍然是一個策略，只是換了一種儲存方式。 她把這解讀成**計算上的時空權衡**。顯式的策略表示佔空間，但取動作快；緊湊的世界模型加規劃器，取動作慢。這場架沒必要吵，問題只是哪類子問題適合哪種計算形式。 她舉的對照很妙：學做代數變形，和騎獨輪車，需要的表示自然不一樣。至於談戀愛，她笑著說完全不知道怎麼建模，還是先去解決代數和物體操作吧。 ## 感知比規劃難，難在一個說不清的地方 問感知和規劃哪個更難，她一秒回答：感知。 難在哪？她認為最大的問題在表示層面。**我們不清楚感知應該輸出什麼。** 感知近年進展很大，影象分類、某些遊戲、方向盤角度預測，都能做。問題在於，如果目標是造一個整合的智慧體，感知的輸出該長什麼樣，它怎麼接上後面那套東西，我們不知道。 任務目標明確時，比如輸出就是轉向角，感知該輸出什麼很清楚。可當你只是想造一個完整的智慧體，輸出的定義就模糊了。這是她判斷的關鍵：感知的下一步突破不在感知本身，在於搞清楚它該產出什麼。 她也順手拆了端到端這條路線。純端到端的巨型神經網路，所有結構都靠學，從樣本複雜度上很難站住腳：需要海量資料，還要弄壞很多臺機器人。機器學習理論告訴我們，降低樣本複雜度的唯一辦法是壓縮假設空間。**壓縮假設空間的手段就是先驗偏置。** 卷積就是一個偏置。一個很強的、很關鍵的偏置，對某類空間推理極其有效。她的主張是去找更多像卷積這樣的東西，去覆蓋別的推理維度。 她點名了幾個候選：一定分量的遞迴、抽象的概念，以及“物體是存在的”這個先驗。最後這條尤其重要，因為很多模型一開始就不給你這個。圖卷積和關係表示是同一個方向上的嘗試。 ## 自我意識是個光譜，計數器也算一端 問她機器人要不要有自我意識、意識、對死亡的恐懼，她的回答很省事：她不太想意識這回事。大多數在意這個問題的哲學家也會承認，你完全可以造出行為與人無異的“殭屍”機器人，而它沒有意識。在當下，她對這種狀態已經足夠滿意。 但技術層面上的“自我意識”她認為必不可少：系統裡得有某個部分去觀察其他部分，判斷它們工作是否正常。 採訪者追問這算不算自我意識。她把問題拆開：看你怎麼定義。一段統計某個過程被呼叫多少次的程式碼，也算一種自我意識。這是個很大的光譜，你必須有其中一部分，離人類那一端還很遠，中間隔著很多維度。 問到還要多少年能造出人類水平的機器人，她直接拒絕參與這個對話。理由跟謙虛無關，是判斷：我們缺的是一些想法，而找到這些想法要多久，無從估計。 > 我們缺的是一些想法，找到它們要多久，我無從估計，所以這個話題我不參與。（萊斯莉·凱爾布林） 她也不喜歡花時間爭論“什麼才算智慧”這類問題，覺得那些時間不如直接去把機器人做得好一點。圖靈測試、各種 benchmark、DARPA 挑戰賽，她不認為對自己有激勵作用，但也不反對別人去做。競賽會讓一群聰明人拼命 hack，大多數產出是 hack，但偶爾會冒出真正好的想法，供之後的人咀嚼。 ## 一年只花幾百美元的頂級期刊 訪談後半段轉到一個看起來和機器人無關的話題，她的處理方式一脈相承。 她創辦了《機器學習研究雜誌》（Journal of Machine Learning Research，JMLR）並擔任主編。起因很具體：當時有本叫《Machine Learning》的期刊，屬於 Kluwer 出版社，她在編委會里，每年開會都向出版社抱怨兩件事：圖書館訂閱太貴，作者發表不易。出版社每次都表示同情，然後什麼都不做。 於是編委會決定自己辦一本。參照物是 JAIR（Journal of AI Research），已經按同樣模式跑了五年左右，運轉良好。**然後《Machine Learning》編委會大概 75% 的人辭職，去辦了這本新刊。** 新刊完全開放獲取：不收版面費，也沒有訪問限制。她的一位博士後想把它命名為“Free for All”。 有人覺得這不可能，甚至懷疑是騙局。事實是，很長一段時間裡這本刊連銀行賬戶都沒有。她自掏腰包付了公司註冊的律師費和一個 IP 地址的費用，一年的運營成本就幾百美元。 為什麼能做到？她給的理由很實在：**電腦科學家在基礎設施這件事上足夠能幹和自主。**大家本來就自己排版論文，手下都有學生，一個下午能把網站搭起來。換成別的領域，這件事就難得多。 這本零成本、零訂閱費的刊物，後來成了機器學習領域最有聲望的期刊之一。聲望可以不需要付費牆來支撐，這一點在別的學科並不總能成立。 ## 一個沒實現的審稿設想：萊斯莉的朋友們 她本來想在 JMLR 上做點完全不一樣的東西，最後沒做，因為覺得領域需要一個傳統的存檔期刊。 她真正想做的模式是這樣：找一群她信任其判斷、表達能力又強的人，不去發表論文，也不接受投稿，而是主動去找論文，寫評論，把評論公開。如果你的評論足夠受重視，將來別人的簡歷上會寫“萊斯莉的朋友們給了這篇論文五星”，這和“被某期刊接收”一樣有用。 為什麼需要這個？因為“發表”這個詞正在失去意義，把東西放到 arXiv 上就算公開了，障礙已經不存在。**真正稀缺的是篩選和評價。**她沒有時間讀完整個 arXiv。 有人說靠社交投票就夠了，讓 upvote 決定一切。她認為這不夠，因為看人們在 Twitter 和 Reddit 上投票、吵架時，你無法判斷他們是否真的懂。**於是你面對一個二階問題：我該重視誰的意見。** 她也點出現實約束：認真評審一篇論文是很大的投入，而論文的洪流已經失控。一年產出的機器學習論文數量，比一年產出的電影數量還多。電影有專業影評人，也有普通觀眾打分，兩條線是分開的，這個結構本身有借鑑價值。 ## 研究者的時間視野被壓短了 她自嘲說接下來這段是“老年人發言”，內容很紮實。 她擔心研究者的時間視野變得極短。學生想多發論文，多發有獎勵，會被摸頭表揚，其中一部分是好事。代價是：**那些願意花兩年只琢磨一個問題的人，正在被這套機制擠出去。** 她回憶自己那代人的做法：讀博期間不發論文，花好幾年挑一個難問題，反覆咀嚼，走彎路，浪費時間，等到做得差不多了才寫論文。 她不認為所有人都得這麼幹。她堅持的一點是：有些問題難到必須配一個更長的研究週期，而目前的激勵結構完全不獎勵這種耐心。 ## 冬天會來，但每次爬得更高 經歷過幾輪 AI 寒冬，她認為週期不可避免，每一輪的制高點都在上升。她用的比喻是帶噪聲的最佳化器在某個地形上攀爬。 深度學習帶來了深刻而重要的進步，水位線確實抬高了，這一點沒有疑問。她也直說，現在有人在過度推銷，投資人遲早會環顧四周問：你說的那些宏大承諾，好像沒兌現。**她預期會有一輪迴落，然後事情繼續。她無法想象從這裡到人類水平 AI 是一條單調上升的曲線。** ## 樂高 Mindstorms 式的誤解 訪談裡有一段特別好。她跟幾位軍事倫理學家聊自主武器，對方是聰明、受過良好教育的人，但對 AI 和機器學習瞭解不多。 他們問的第一個問題是：**你的機器人有沒有做過你預料之外的事？** 她當場笑出來。任何碰過機器人的人都知道，機器人天天在幹你預料之外的事。 笑完她意識到問題出在哪：對方腦子裡那套“程式設計”的模型完全錯了。他們以為程式設計就是樂高 Mindstorms 那樣：前進一米，左轉，拍張照，做這做那。如果程式設計真是這樣，機器人幹出意外的事確實很詭異。 實際情況是，**我們至少在比這高一層或很多層的抽象上工作。**我們給出一個假設空間，可能是一組計劃，也可能是一組分類器，再給一個目標函式，然後跑一個最佳化方法，在那個空間裡找解。**至於最後會找出什麼解，我們並不知道。** 她把這件事當成自己的新教育使命。跟非專家解釋 AI，第一課講清楚一件事：我們不直接寫行為。 ## 最佳化的人都懂：小心你許的願 她由此談到價值對齊。不必被機器人末日嚇到，也能承認這件事重要。所有做過最佳化的人都明白一個道理：**有時候你真拿到了最優解，然後發現目標函式寫錯了。** 她預期行業會發生一個身份轉變：從工程演算法的人，變成工程目標函式的人。這會改變整個方法論。 而設計目標函式的人必須同時戴兩頂帽子。一頂問：我到底想要什麼。另一頂問：我知道我的最佳化器能幹出什麼事，所以得把這個考慮進去。做機器學習的人對此應該很熟悉，這是每天都在做的權衡。 至於機器人搶工作這件事，她承認重要，但很坦率地說這不在自己的能力範圍裡：不懂社會學，不懂經濟學，希望有別人去想。 ## 中間路線：手工搭一半，剩下的交給學 問到最有希望的方向，她把選項擺成兩個極端。 一端是內省：坐下來想清楚，把程式寫出來。這條路已經證明效果很差。 另一端是一大坨神經網路軟泥，丟進去訓練，指望它自己長出一切。她認為這條路也走不通。 剩下的是中間地帶，而這個中間地帶不帶任何神學色彩，是個工程問題：究竟怎麼組合才最有效。**她的判斷是，答案是學習與非學習的組合，而且組合方式有很多種。**哪些東西該手工搭進去，哪些該留給學，這才是最值得研究的問題。 最後問她最喜歡哪部科幻作品裡的機器人。她說沒有。她愛的是過程本身。 > 我做研究是因為好玩，不是因為我在意最終產出什麼東西。（萊斯莉·凱爾布林） 這個回答跟前面那些判斷是一條線。她關心的是怎麼把問題想清楚，能不能端出一個成品是次要的。所以她會說“我們缺的是一些想法”，會說“我不知道要多久”。這兩句話在她嘴裡來自同一種態度：問題是真的難，而難的東西不因為你著急就變簡單。 回頭看，她這幾十年的判斷有一條很穩的線。邏輯要用來分析系統，未必塞進系統腦子裡。世界不能直接等同於 MDP，它只是你選擇的一個建模立場。感知的瓶頸不在感知本身，在於你說不清它該輸出什麼。人生沒法整體形式化成規劃問題，它是一堆不同風格零件的拼裝。 每一條都在做同一件事：**把“我們該用什麼方法”這個問題，換成“這個問題的形式選對了嗎”。** 這個轉向對今天的從業者有直接用處。大多數人卡住的時候，第一反應是換工具：這個模型不行換那個，這個庫慢換另一個。凱爾布林的做法是先退一步問：我把問題擺成了什麼形狀，這個形狀本身是不是已經錯了。專家系統撞牆，根源在於“人能說清自己怎麼決策”這個假設從一開始就不成立，規則寫得再多也補不上。 她能坦然說“我證明不了”“我不知道”“那不在我的能力範圍”，恰恰因為她對什麼算真正解決了問題有很硬的標準。做得很糟的大問題，比做得很好的小問題更值得投入。這話聽著像雞湯，落到她身上很具體：她寧願要一個能覆蓋連續空間、連續觀測、複雜到算不動的 POMDP 形式，也不要一個能跑出漂亮數字卻說不清在解什麼的模型。 訪談裡最動人的細節反而最不起眼。她說自己重新發明強化學習的時候，把獎勵叫“pleasure”。一個零基礎闖進機器人領域、邊做邊把輪子重造一遍的人，給一個技術概念起了個帶體溫的名字。她後來說自己愛的是過程，不在意產出什麼。 這兩件事是一件事。 ## 可以立刻用起來的幾條 - 卡住的時候先別換工具。寫下你當前把問題擺成了什麼形式，逐個檢查那些預設前提：你假設了狀態可知嗎？假設了人能說清自己的判斷依據嗎？假設了感知的輸出已經定義清楚嗎？錯的形式配上再好的演算法也救不回來。 - 給自己正在做的系統找“像卷積一樣的偏置”。卷積之所以有效，是因為它把一類正確的空間結構直接寫進了模型。問自己：這個領域裡有哪些結構是確定成立的，卻還沒有被固化成先驗？物體是存在的、關係是有圖的、動作是有時間層級的，都算候選。 - 把“不可解”當成起點，別當終點。問題本身極難的時候，正確做法是建模上近似、求解上近似，一層層降到能算的程度。換一個可解但已經變形的問題去做，看著有進展，實際是偷偷換了目標。 - 設計任何目標函式之前，先戴兩頂帽子。第一頂問：我到底想要什麼。第二頂問：我的最佳化器會怎樣鑽這個目標的空子。幾乎所有對齊事故都發生在第二頂帽子沒戴的時候。 - 刻意保留至少一個長週期問題。不需要所有工作都長，但要有一個你願意兩年不出論文、只為把它想明白的問題，否則你的研究方向會被短期指標悄悄改寫，等你回頭已經找不回當初想做的事了。 - 向外行解釋 AI 時，第一句話別講演算法，先講清楚我們不直接寫行為。給他一個假設空間加一個目標函式，告訴他我們不知道最終會找出什麼解。這個認知差是很多恐慌和很多過度承諾的共同來源，值得花十分鐘講透。 - 做感知模組之前，先把輸出契約寫下來。它交給下游的是什麼，座標、物體、關係、還是某種信念分佈。定義不清就往下堆模型，後面一定要返工，而且返工的時候你會發現重構成本遠高於當初多寫一頁文件。 - 建模的時候問一句：我是在描述世界，還是在給世界套一個我方便求解的形式。凱爾布林那句“世界不是 MDP，你只是選擇了一個立場”，本質上是在提醒你，模型的邊界是你的選擇，不是世界的屬性。搞清楚這一點，你會更早發現模型失配，也更敢在必要時換掉整個框架。