# 邁克爾·利特曼：強化學習與人工智慧的未來 > 從強化學習的基本原理講起，探討獎勵設計、智慧體如何學習，以及通向通用人工智慧的可能路徑。 - 原標題：#144 – Michael Littman: Reinforcement Learning and the Future of AI - 期數：第 144 期 - 釋出日期：2020-12-12 - 嘉賓 / 主題：邁克爾·利特曼 - 網頁版：https://lex.qiaomu.ai/tw/ep/michael-littman/ - 官方頁面：https://lexfridman.com/michael-littman/ - 精讀字數：約 8602 字（閱讀約 19 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 在人工智慧圈子裡，公開說"我不擔心超級智慧"需要一點勇氣。Michael Littman（邁克爾·利特曼）就這麼說了，說得很平靜：那些末日論的書他讀過，論證他聽懂了，但他不相信我們會不小心造出一個能毀滅人類的超級智慧。 他為此寫過一篇專欄文章，專門回應 Elon Musk。他承認那個論證很難反駁，甚至一度表示自己被說動了一半。最後他還是站到了懷疑的那一邊。 布朗大學的計算機教授，強化學習領域的老兵，1980 年代就在家用 BASIC 教電腦下井字棋的人。這期訪談聊了很多：他為什麼懷疑 AI 末日論，為什麼 AlphaZero 反而沒讓他驚訝，為什麼 GPT-3 寫出的漂亮文章暴露的問題可能是人類太套路。 兩個多小時的對話，下面拆成幾塊講。 ## Musk 的信仰，也是他的盲點 Littman 對 AGI 末日論的看法，落點不在技術，在對人的觀察。 他說，Elon Musk 之所以這麼成功，因為他**真的相信想法的力量**。你要是有個好點子上太空，就能上太空；有個好點子改變人們開車的方式，就能改變。這個信念驅動了 SpaceX、Tesla，也驅動了他對 AI 的判斷：既然想法能推到極限，就一定有人會把它推到極限，然後有人被幹掉。 > 他的強項同時也是他的軟肋。這不代表這件事一定會發生，只是這樣想對他來說是順理成章的。（Michael Littman） 這個視角挺巧妙。他沒有正面反駁那個技術論證，轉而去解釋為什麼有些人天然傾向相信它。 那個論證本身是這樣：我們會造出能設計下一代自己的計算機，下一代比上一代聰明，一代代迭代下去，最後比人類聰明，那時它的目標一旦和我們錯位，比如它的目標清單裡沒有"人類繼續存在"這一條，我們就完蛋了，因為它比我們強大太多。 Littman 說他理解這個故事的吸引力，也理解 Sam Harris 和 Nick Bostrom 的說法：物理定律裡有沒有什麼東西阻止這件事發生？如果沒有，那它遲早會來。這個論證很難被打穿，他自己也承認。 但他抓住了一點：整個過程中，那個東西不會"砰"的一下出現。 ## 747 不會自己拼起來，超級智慧也不會 他用的類比是 747 飛機。 有人反駁進化論時說，一架 747 不可能由零件隨機拼裝出來。這話沒錯，可 747 確實存在，是人類一塊塊裝起來的。Littman 的意思是，超級智慧如果出現，也會是這樣一個"造出來"的過程，不會從虛無裡突然冒出來。在這個造的過程中，我們會學到很多東西，會知道怎麼控制它、塑造它、按自己的樣子去建它。 他特別針對一種想象："你開啟一個深度學習網路，給它足夠算力，它自己就飛昇了。"他覺得這種設想違背直覺，因為這樣的系統需要幫助，需要有人推它越過複雜性的牆。真要造出一個能在真實世界裡自如活動、處理事情的系統，你不可能全程不在場。 > 如果你相信你只要開啟一個深度學習網路，給它足夠算力，最後就能到那兒，那確實很嚇人，因為我們完全不在迴路裡。可我並不這麼看。（Michael Littman） 他沒有說超級智慧在物理上不可能。他說得很清楚：放在人類歷史的長尺度上，它最終可能出現。他的判斷是，這個過程里人類有大量介入的機會，不至於毫無準備地迎接一個龐然大物。 講到這裡，他提了個不太舒服的對比：核武器。 如果認真覆盤 20 世紀，某些危機時刻加起來，人類被核武器毀滅的機率他覺得能放到 30%、40%。人類曾經多次擦著毀滅的邊走過去。活下來靠的並非算無遺策，運氣和臨時反應占了大頭。 ## 真正的威脅已經發生了 聊到這兒，Littman 轉向了一個他覺得更緊迫的方向。 他的原話大意是：那個我們擔心的 AI 場景，其實已經在發生了，形式跟科幻電影不一樣。**社交媒體就是一套已經在操控人類集體心智的演算法系統**。我們已經有一個"集體智慧"在運轉了，它由一堆簡單的推薦演算法加上幾十億人構成。 Lex 接過話頭，說自己在網上有了一小支黑粉軍團，雖然他一直在講愛和善意。這算是他學到的技能：控制自己去看評論的量。 Littman 講了他父親的故事。他父親在 Drexel 大學管一個很大的研究所，隨時有郵件、有麻煩、有戲劇性的事在等著，那種"忍不住去重新整理"的衝動真實存在。他說他父親那一代人沒學過怎麼關掉網路走開，現在的年輕人一邊被網暴、被演算法傷害，一邊也在被迫學會這個技能。 他對這一代人的期望很有意思：**當年初中年紀撞上社交媒體爆發的那批人，是唯一能修好它的人**。他們被傷得最深，也最懂它是什麼。如果這批人能搞清楚怎麼既保留社交媒體的好處又不被它吞掉，人類就進入下一關；如果搞不定，那就真的會互相撕碎。 他說到自己女兒，既深度參與社交網路，又一直在找那個平衡點，有時走得太遠被吞掉，有時能拉開距離。這樣的人足夠多，這潭渾水就有得蹚。 ## 從 BASIC 到貝爾實驗室 訪談中段轉向 Littman 的學術生涯，這部分資訊密度很高。 他 13 歲那年在 RadioShack 看到電腦，覺得不可思議：為什麼它算 (1+(2+1)) 從來不出錯？我在代數課上花了好幾年才學會的東西，它怎麼天生就會？ 他父母原本要給他辦成人禮派對，問他要什麼，他說要電腦。13 到 15 歲那幾年，他說自己完全沒有記憶，就是待在房間裡對著電腦，聽著 Billy Joel 唯一的那張黑膠唱片。15 歲那年他走出來，覺得"我可以重新跟人說話了"。 大學去了耶魯，因為 Princeton 只有"計算機工程"沒有"電腦科學"，他不想碰硬體。在耶魯他修了很多心理學課，自稱"認知心理學的追星族"，喜歡泡在認知科學家堆裡，因為"大腦這玩意兒太邪門了"。 那時候是 1980 年代初，神經網路剛開始冒頭。他在一門課上讀到 Steven Pinker（史蒂文·平克）和 Prince 合寫的一篇長論文，做的是神經網路批判。他把這篇論文比作那個年代的"Gary Marcus（加里·馬庫斯）和 Davis"，意思是這類認知科學家會承認神經網路能做很多事，然後逐條列出它做不到的事，說你的視野圈得太窄，得看更大範圍的問題。 就是在那門課的討論裡，他第一次碰到強化學習這個概念。他當時的想法很樸素：心理學裡最有意思的是行為，程式也是會行為的東西，他想做的是讓程式學會行為。這基本就是他後來整個研究方向的原點。 畢業後他去了 Bellcore（貝爾通訊研究所），1984 年 AT&T 拆分後從貝爾實驗室分出來的機構。他進的組裡有 Dave Ackley（戴夫·阿克利），玻爾茲曼機論文的第一作者，那篇論文證明了神經網路可以學非線性概念，把被感知機論文打壓下去的神經網路重新救活了。 Ackley 成了他的導師，給了他 Rich Sutton（理查德·薩頓）1984 年那篇 TD 論文。Littman 說當時沒全看懂，但抓到了核心：用他熟悉的神經網路和反向傳播的思路，去做時間上的預測。 然後發生了一件他覺得不可思議的事。他說他想更深入理解，Ackley 說"那我請他來做個報告吧"。Littman 的反應是：什麼叫請他來？這不是發表出來的想法嗎？ > 在我腦子裡他們只是文字，是某種神奇地滲進論文裡的想法。Dave 說，不，我認識 Rich，叫他下來講一場就行。（Michael Littman） 那次報告講的是 Q-learning。Littman 說這對他是個啟示，因為 Q-learning 是 off-policy 的：你可以在學著怎麼最優行動的同時，學著評估環境裡每個動作的價值，兩件事分開進行。而他之前理解的 TD 理論要求預測的過程必須穩定，這樣才能改行為。 他用一種帶點敬畏的語氣說，一個方程，一行程式碼，就能捕捉"智慧"這件事的全部，至少眯著眼看是這樣。他最早是用 Lisp 寫的。 ## 神經網路低語者 1990 年代，Jerry Tesauro（傑裡·特薩羅）的 TD-Gammon 在雙陸棋上幹出了名堂。 Littman 講了這個工作的兩步。第一步是監督式的：用人類專家的走法訓練網路，模仿動作不是目的，學一個評估函式才是。專家選了 A 沒選 B，就說明專家認為 A 更好，那就調整權重讓網路也認為 A 更好。這本質上是從人類偏好裡學習。 第二步才真正驚人：去掉訓練者，讓它自己跟自己下，變成純粹的強化學習問題。 然後業界開始外推：這麼難的問題都解決了，其他難題應該也不在話下。結果絕大多數都沒做成。原因之一是當時的神經網路本身就不穩定、不可靠，放到強化學習框架裡訓練，基本是一團亂麻。 Littman 說他帶了一屆又一屆碩士生去做值函式近似，就是想用神經網路做強化學習，反反覆覆地失敗。 > 我現在相信 Jerry 是神經網路低語者。他有某種特殊能力，能讓神經網路做成別人覺得不可能的事。技術加上 Jerry，才湊成這件事。（Michael Littman） 這段話後面接著一個更重要的觀點。他說人們太容易把功勞歸給技術，忘了人的作用。他舉了 Stallman 和 GNU Emacs 的例子：沒人會說"有這款軟體，是不是證明計算機強大到要接管世界了"，大家知道 Stallman 是個狠角色。換成機器學習，同樣的道理就被忽略了。 ## AlphaGo 讓他震驚，AlphaZero 沒有 聊到 AlphaGo，Littman 用了"把我襪子都嚇掉了"這種說法。他說震驚他的有兩塊：一是他們能把一堆不同的想法整合進一個巨大的系統，光是工程部分就夠驚人；二是 David Silver（大衛·西爾弗）這類人能"哄著"這些網路用新的架構去解決大家以為解決不了的問題。 背景是這樣的：當年學 AI 的時候，老師們多少傳遞過一個印象，圍棋是 AI 的極限測試，誰能解圍棋，誰就摸到了通用智慧的邊。那些在國際象棋上打敗世界冠軍的技術，在圍棋上連個普通少年都下不過。短短几年就翻盤了，這確實震撼。 那 AlphaZero 呢？他的看法和很多人不一樣。 他提到 Satinder Singh（薩廷德·辛格）的看法，Satinder 認為 AlphaZero 更驚人，它完全去掉了人類棋譜的引導，純靠自我對弈。Littman 不同意。 他的邏輯很直接：AlphaGo 本來就有大量的自我對弈，人類棋譜只是用來"啟動"策略網路，之後還是用傳統時序差分方法訓練了很久。從"去掉人類資料"這個角度看，他覺得差別沒那麼大。 > 第一次能跑通，它就是能跑了。所以 AlphaZero 我並沒有覺得那是另一個量級的突破。（Michael Littman） 不過他承認 AlphaZero 至少完成了一次戰略上的量子躍遷。它發展出了自己的、更有效的策略，並沒有停在更好地執行人類策略的位置上。他的判斷是：第一次從零到能跑通才是最難的那一步，後面那次飛躍固然了不起，性質卻不同。 ## 自我對弈的天花板在哪裡 Lex 提到 David Silver 說過一句話，語氣平靜但聽著瘮人：**他們還沒找到 AlphaZero 的上限**。算力往上堆，棋力就往上走。 Littman 的回應是：注意，它變強的是圍棋，不是別的東西。從這裡推到"所以它在其他任務上也更強"，是個很大的跳躍。 他講了一段國際象棋的歷史，很有意思。 一千年來人類是地球上最強的棋手，然後電腦超過了最強的人類，再沒被反超。中間有一段時間，**人和電腦組隊，能打敗最強的電腦**。他用 Elo 分數解釋：你能穩定贏某個分段 62% 左右，你就高一個段位。人類的棋力有個上限，電腦超了一步，人機組合大概又超了半步，然後就趨於平緩了。 這說明國際象棋有個有限的戰略深度。你到了某個點，就沒法再強了。 圍棋的戰略深度比象棋大得多，能往上走的臺階更多。沒有理由認為它是無限的。所有有限博弈在理論上都有最優策略，也就是極小極大最優，到了那一步就再也強不上去。只不過這個策略可能複雜到無法壓縮，人類永遠達不到，它確實給"能提升多少層"設了個上限。 所以 David Silver 說的"沒找到上限"，Littman 的解釋是：那可能只是還在爬一條收益遞減的曲線，還沒爬到頂而已。 ## GPT-3 照出的是人類的套路 話題轉到語言模型，Littman 先給了個公允的評價。Transformer 這一族東西確實很酷，如果你早年玩過馬爾可夫鏈生成文字，見過那些胡言亂語，再看現在的輸出，會覺得很驚人。 他接著說了另一半：**你跟這些系統聊不了多久就能找到漏洞**。它不具有一般意義上的聰明，它在一堆具體任務上很強，它對語言的統計規律掌握得極好，這個能力很有用，能回答很多問題，可它當不好對話者，也當不好講故事的人，它只是擅長模仿見過的東西。 然後他說了一句我覺得整期訪談裡最有意思的話。他說，同樣的批評可以套在人身上：特朗普的支持者說拜登的支持者不聰明，只是跟著見過的東西走；反過來也一樣。 他自己接過這個思路往下推：GPT-3 寫出的東西很像人，這不必然說明電腦比我們以為的聰明，**有一部分意思是人比我們以為的笨**。我們日常做的大量事情沒那麼深。順著話頭往下說，說什麼感覺自然就說什麼，其中真正有創造性、有意義、有意圖的部分不多，剛好夠用。 問題在於統計上看不出來。我們說的話大部分是套路化的，衡量這些系統的指標也照不出那些少見的、真正有創造性的部分。 這就是他對"堆算力就能通向通用智慧"的懷疑所在。他的判斷是：光靠人類寫下來的所有文字去學，遠遠不夠。**語言這種東西，必須有人跟你頂回來才算數**。 > 它們只從我們的故事裡學，不從被我們反駁中學。在這條路上，它們能變成什麼是根本受限的。它們得被我們駁倒幾次，才會意識到，哦，這裡有點微妙的東西是真重要的。（Michael Littman） 這話聽著溫和，其實是個很硬的限制條件。跟人互動的頻寬極低，成本極高。自我對弈之所以能成，因為它能做海量的互動。強化學習系統沒法部署到真實世界跟人反覆過招，人類的注意力太貴了。 所以他覺得這個領域真正該做的，是讓演算法在保持強化學習精神的前提下，把樣本效率提上去。 ## 苦澀的教訓，和它的對沖 Lex 提到 Rich Sutton 那篇《The Bitter Lesson》（苦澀的教訓）。核心論點是：回顧 AI 七十年，實踐中提升最大的演算法往往是那些簡單粗暴、能吃算力的笨演算法，然後等硬體變快。學者們熱衷於找各種技巧，為技巧歡呼，幾十年過去，笑到最後的還是那個笨演算法加更快的電腦。 Littman 先開了個玩笑："所以我們其實只是計算機體系結構的一個子領域，一直在等硬體的人幹完活。" 他提了一個更早的版本：計算語言學家 Fred Jelinek（弗雷德·傑利內克）說過，每次我們解僱一個語言學家，系統效能就漲 10%。把語言學的知識硬編進去，效果遠不如扔掉這些知識、多喂資料。 接下來是他自己的分析，我覺得是這期最有價值的部分之一。 組合複雜度是爆炸式增長的，可能性的數量增長極快。摩爾定律恰好也是指數增長。兩條指數曲線擺在一起，看起來就永遠追得上，於是我們不用費勁設計演算法，等著就行。 **可這個前提正在鬆動。** 他提到一個很多人不知道的點：摩爾定律有個"反向定律"，每一代晶片的研發成本也在翻倍。分攤到每次迭代上的研發投入其實是不變的，總有一天錢會不夠用，或者必須換一種完全不同的研發方式。 他對"指數曲線沒有盡頭"這類說法一直持懷疑態度。他的判斷是，我們很可能在一條 S 形曲線的前半段，前半段看起來特別像指數，後半段看起來特別像收益遞減。 Lex 補充了一點：如果真去看摩爾定律背後的技術，它由成百上千條 S 曲線疊起來構成，是連續的突破。真正值得關注的，是維持這些突破需要的團隊規模和資源投入在怎麼變。 ## 開車是社會行為，這才是難點 訪談裡有一段講自動駕駛，視角很特別，因為他正在教兩個孩子開車。 他坐在副駕，說這真的很嚇人，因為他想活著。孩子們上手比他想象中快：他們理解自己在看世界，理解有一條路要待在上面，理解方向盤角度和車的關係。保持在車道里、保持速度，這些都學得挺快，就是一開始很顛。 真正難的是什麼？他說，**開車在很大程度上是一種社交行為**。這一點他以前完全沒意識到，直到看兒子學車。 他兒子一直有社交溝通上的困難。學車時，他發出的是混亂矛盾的訊號，周圍的車讀不懂他，就開始做出奇怪、不穩定的動作。Littman 當時毫不懷疑他會出事故，因為別人讀不懂他。你必須被人明確教：你得想別的司機在想什麼。 這裡引出一個概念：心智理論，以及對"別人心智理論"的心智理論，一層套一層。 他說在他去過的自動駕駛講座裡，很少有人討論這個。有些人考慮過，但這件事比想象中微妙得多。行人更極端：他們有幾個奇怪的自由度，隨時可能轉身，你根本不知道他們要幹嘛。人類就是知道，因為我們有很好的心智模型，還有對"對方模型"的模型。 他也承認，可能這件事真沒那麼難，是可以學出來的。他試駕過一家做自動駕駛的公司的車，開得很激進、很快、很好，體驗不錯。Tesla 也會讓他改主意：也許開車沒那麼難，也許我有點人類中心主義。 他還是回到了那個更根本的判斷：這類技術在真實世界裡的推進方式是混亂的，民主本身是混亂的，AI 系統進入現實的方式也是混亂的。 ## 三本書，和"程式設計即權力" Lex 問了那個經典的三本書問題，Littman 先耍了個花招，講了個故事，然後給出答案。 第一本是 Douglas Rushkoff（道格拉斯·拉什科夫）的《Program or Be Programmed》（要麼程式設計，要麼被程式設計）。 核心類比是識字。從前不是所有人都識字，一旦識字成為可能，識字的人在社會里就更有話語權，於是社會花了大力氣讓所有人追上。現在識字率當然還沒到 100%，已經足夠普遍，普遍到"人會讀書"成了預設假設。 Rushkoff 的論點是：程式設計是同一類事情。會讀，意味著你能接收資訊，你沒法往外發。程式設計是往外發的那一端。 Littman 說 Rushkoff 本人後來對這個想法有所後退，覺得社會沒往那個方向走。Littman 自己仍然相信這個前提：我們和機器、和網路的關係，最終應該是每個人都能讓機器幫自己做想做的事。他作為軟體從業者知道怎麼做，隨手寫個指令碼就行。如果活在一個所有人都能這麼做的世界裡，那會是個更好的世界，**別人的軟體對我們這群人的控制也會更少**。 第二本他正在讀，Brian Christian（布萊恩·克里斯蒂安）的《The Alignment Problem》（對齊問題）。他說這本書分三部分：第一部分講公平和 AI 對社會的現實影響，寫得很好，作者親自去採訪了提出這些想法的一線人物；第二部分講強化學習；第三部分講超級智慧的對齊問題。他說第三部分大概會讓他讀得沒那麼愉快。 他也順帶誇了 Stuart Russell 那本書，說它對 AI 技術本身的解釋做得特別好。 第三本是 Ted Chiang（特德·姜）的《Exhalation》（呼氣）。就是寫《你一生的故事》、被改編成電影《降臨》的那位。Ted Chiang 本人是計算機專業出身，在布朗讀過書。Littman 說這些短篇每一篇都有一個很有洞見的科學或電腦科學核心在驅動，作者把我們已經知道的東西往外推到某個極端結論，造出一些人工世界，讀起來很過癮，也很燒腦。 ## 人生的意義是平衡 最後 Lex 問了那個大問題：這整個事情的意義是什麼。 Littman 的回答很具體。他 42 歲那年辦了個"生命意義派對"，因為《銀河系漫遊指南》裡 42 是終極答案。他讓每個來的人做幻燈片，講自己認為的生命意義。 他自己的答案是：平衡。 派對的互動環節是各種平衡玩具：平衡板、彈簧單高蹺、ripstick（那種兩輪扭來扭去的滑板）、獨輪車。他說獨輪車當時不會騎，現在會了，騎得不算好，能騎。 他說他妻子有個更實用、可能更準確的答案：和你愛的人保持健康的關係，為好的事業努力。他自己的那個詞還是平衡，什麼都不能太多，太多就有問題。 整個訪談到這裡收尾。從超級智慧的宏大敘事，到社交媒體已經在操控我們，到強化學習的歷史，到 GPT-3 照出的人類套路，最後落在一個 42 歲生日派對上的獨輪車。 這個收尾挺利特曼的。他整期都在做同一件事：把那些聽起來最嚇人的說法拆開，看看裡面到底有什麼，然後指出真正值得擔心的地方往往在別處。他不否認風險，他把風險放回它該在的位置。 ## 讀完能做的幾件事 這期對話資訊很密，落到行動上，有幾件具體的事值得做。 - **給自己設一個"演算法檢視預算"。**Littman 講他父親關不掉郵件的那個故事，說的是同一個機制。評論、私信、資料面板都是被設計成讓你忍不住刷的東西。定一個每天的次數或時長，寫下來，照做。 - **用兩週驗證一次"品味是可以訓練的"這個假設。**Littman 說他連續聽 Billboard 前十，第一週沒感覺，第四周那首歌就成了自己的一部分。挑一個你現在欣賞不來的東西，連續接觸兩週，觀察自己的判斷怎麼變。這個實驗比讀十篇關於神經可塑性的文章管用。 - **讀《Program or Be Programmed》，然後寫一個真正給自己用的指令碼。**不用大，把你每週手動重複做的一件小事自動化掉。體會一次"讓機器替我做我想做的事"的感覺，你就理解 Littman 說的"程式設計即權力"是什麼意思了。 - **下次看到一個驚人的 AI 生成結果，先問一句：這是機器太強，還是這件事本來就沒那麼深？**GPT-3 寫出的公關稿、營銷文案、通稿很像人，可能因為這類文字本來就高度套路化。用這個視角去看，你對 AI 進展的判斷會準很多。 - **如果想入門強化學習，從 Rich Sutton 和 Andrew Barto 那本書的第一章開始，重點看 TD 和 Q-learning 那兩節。**Littman 說 Q-learning 的核心能濃縮到一行程式碼裡，這個說法不誇張。先把那個更新公式手推一遍，比看十篇綜述管用。 - **開車的時候，留意一次你和別的司機的無聲交流。**變道前對方讓不讓、路口誰先走，這些都是 Littman 說的"心智理論"在實時運轉。意識到這一點，你會更理解為什麼自動駕駛這麼難，也會更理解人類智慧裡那些不容易被資料捕捉的部分。