# 安卡·德拉甘：人機互動與獎勵工程 > 機器人學研究者談人機協作中的衝突處理、如何為機器設計獎勵函式，以及自動駕駛的倫理。 - 原標題：#81 – Anca Dragan: Human-Robot Interaction and Reward Engineering - 期數：第 81 期 - 釋出日期：2020-03-19 - 嘉賓 / 主題：安卡·德拉甘 - 網頁版：https://lex.qiaomu.ai/tw/ep/anca-dragan/ - 官方頁面：https://lexfridman.com/anca-dragan/ - 精讀字數：約 14695 字（閱讀約 33 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 整條逆向強化學習（inverse reinforcement learning）的路，建立在一條極其簡單的假設上：人的行為，相對於他真正想要的東西，是最優的。 這條假設撐起了機器人學裡的一大塊研究。給機器人看一段人的駕駛錄影，它能反推出這個司機最佳化的到底是什麼，是激進還是保守，是搶道還是讓行。給人演示一遍怎麼把碗放進櫃子，它能反推出你真正在意的邊界在哪，是碗的朝向，還是櫃門的開合角度。 安卡·德拉甘（Anca Dragan）是加州大學伯克利分校的教授，專門研究機器人怎麼理解人。她調了十年的成本函式。但這幾年，她撞見這條"人是理性的"假設不成立的場景越來越多。 人玩月球著陸器那個遊戲，幾乎全是狠狠摔在兩邊的旗子之間。人推著輪椅上的機械臂想去夠一個杯子，手的軌跡在各個方向亂飄，看起來完全不像在最優地實現某個目標。人見到機器人靠得太近，會伸手把它推開。 2020年3月，她和 Lex Fridman 聊了近兩個小時。這場對話有意思的地方在於，她沒有繞開這條假設的裂縫，直接鑽進去找新路。 ## 她進機器人這行，純屬偶然 德拉甘出生在羅馬尼亞。數學奧林匹克在那邊算是全民運動，她從五年級就開始參加。她說那時候的數學對她來說只是純粹的理論，好玩，但不知道往哪兒用。 四年級的時候她報了一個課外班，可以選舞蹈、音樂或者程式設計。她選了程式設計，媽媽當時還問，為什麼要選這個。她寫的第一段程式碼是用 QBasic 畫一個圓，她說她現在也不會畫了。 大學她才真正接觸人工智慧。申請研究生的時候，她投了 MIT、伯克利、斯坦福，全被拒了。卡內基梅隆的機器人研究所是唯一錄取她的地方。她當時的想法很樸素：機器人是一個能把自己喜歡的最佳化理論真正落到物理世界裡的地方。 她對車的興趣也是偶然長出來的。2014年她還在伯克利讀博，學校組織了一次坐谷歌自動駕駛車的機會。她坐進去，看著方向盤自己轉，車一個決策接一個決策地做對。下車時她拿到一張貼紙，上面印著"我坐過自動駕駛汽車"，還有那隻谷歌無人車的小螢火蟲標誌。那張貼紙在她筆記本上貼了好幾年，直到換電腦才取下來。 她說那是她經歷過最接近"戀愛"的一刻。那輛車在工程上沒什麼魔法，車頭、感測器、轉向的動作都很普通。真正讓她震住的是自己腦子裡發生的擬人化，那些零件在她大腦裡拼成了一個"看著我"的存在。 > 我意識到，機器人可以遠遠不只是操作物體的工具。它可以是與人有連線的東西。（安卡·德拉甘） ## 她先生用一臺七自由度的 WALL-E 求的婚 問她最喜歡的機器人，她說是《機器人總動員》裡的 WALL-E。喜歡的原因很具體：它太會表達了。兩個鏡頭當眼睛，一對機械臂，靠動作的節奏、停頓、朝向，就能演出好奇、猶豫、孤獨、喜歡。她自己研究的就是機器人怎麼用動作表達內部狀態，WALL-E 在她眼裡幾乎是一個完美的範本。 然後她說了一件更私人的事。她先生求婚的時候，親手做了一臺 WALL-E。七個自由度，包括那兩個能動的鏡頭。機器人端著一個小盒子走過來，盒蓋慢慢開啟，戒指在裡面。那臺機器人她家留到現在。 這段插進來並不突兀。它正好說明了她一直在研究的那件事：機器人怎麼用動作傳達意義。她自己就是被一臺手工做的機器人打動的。 ## 人機互動不是一個問題，是兩個 她把這個問題拆得很清楚。 一個機器人在實驗室裡獨自完成任務，那是它自己的事。你把它放到真實世界，讓它去幫一個人，問題的性質立刻變了。 第一個變化是：機器人不再是在場唯一行動的智慧體。它旁邊有別人也在同一個空間裡做決策。你讓它去咖啡廳拿杯咖啡，路上有人也在伸手夠東西。車在路上開，旁邊全是別的車。機器人知道自己的目標還不夠，它得讓自己的動作和別人的動作咬合到一起。 第二個變化更微妙：誰來定義"好"？程式設計師寫下的目標是程式設計師的偏好。可機器人進了你家，你有你自己的想法。你想讓房子被打掃乾淨，但乾淨到什麼程度，機器人該離你多近，這些是程式設計師猜不到的。 **機器人真正要最佳化的，是終端使用者的偏好。程式設計師寫下的那套東西，只是這件事的代理。** 這件事聽起來簡單，做起來很難，因為"搞清楚別人想要什麼"本身就是個硬問題。 ## 理解人類，其實是兩件幾乎相同的事 她說理解人類可以拆成兩件任務，而且在她看來這兩件事本質上是一回事。 第一件是預測：這個人下一步會去哪兒，會怎麼開車。自動駕駛的預測模組乾的就是這個。 第二件是推斷：這個人到底想要什麼。他心裡那個"好"是什麼樣子。 這兩件事看起來不一樣，她認為它們連著。人的動作總有來由。人做某個決定，是因為他想達成某個東西。如果你能從行為裡讀出意圖，預測下一步就容易多了。 這就引出了逆向強化學習。正向強化學習是已知獎勵、求最優策略。逆向是反過來：看人的行為，反推他最佳化的獎勵函式是什麼。 這個人怎麼打方向、怎麼跟車，這裡藏著他的駕駛風格。你演示一遍希望房子怎麼被打掃，這裡藏著你願意在哪些地方妥協。這些都能透過逆向強化學習從行為裡摳出來。 這條路在機器人學裡已經走了不少年，也確實有效。它有效的前提，就是開頭那條假設：人的行為相對於他想要的東西是最優的。 ## 這條假設的譜系，從經濟學走到行為經濟學 她把這個思想史上的鏈條講得很清楚。 最早是馮·諾依曼和摩根斯坦在20世紀中葉提出的效用最大化：人在做選擇的時候，是在最大化某個效用函式。 到1950年代末，Luce 和 Shepard 補了一刀：人是有點噪聲的，是在近似地做這件事。一個選項被選中的機率，大致跟它的效用成正比。這個噪聲版本後來被搬進機器人學，就是所謂的"玻爾茲曼理性"（Boltzman rationality）。機器人用這個模型去反推偏好，在很多工上已經夠用了。 然後到1970年代，行為經濟學起來了。這一派說的是：人根本不理性。人混亂、情緒化、充滿領域相關的啟發式，一堆亂七八糟的東西。 她說這段話的時候很坦誠。有些任務里人實在太混亂，簡單模型撐不住了，那種時候她也想過收拾行李回家換個工作。 問題在於：機器人越來越強，你越需要一個可靠的機制告訴它"你該做什麼"。而這個"該做什麼"要從人的行為裡讀出來。讀得準不準，直接決定這套系統靠不靠譜。 ## 也許人並不混亂，是我們漏掉了他們的假設 她這幾年最看重的一個想法是：不要急著判定人混亂，先想想是不是我們漏掉了他們腦子裡的假設。 我們做機器人模型的時候，預設智慧體知道真實的狀態、真實的轉移函式、真實的時間視界。然後我們說人是理性的，意思是他跟我們共享這一整套假設。人不符合這個模型，我們就把人叫作"不理性"。 她提了一個替代方案：**也許人確實是相對理性的，只是在不同的假設下理性。** 這個想法的實驗支撐來自月球著陸器那個遊戲。人和機器人玩同一個遊戲，但人的心理模型不一樣。人不懂這個飛行器的複雜物理，慣性、推力、角度，人心裡有一套樸素的、簡化的物理直覺。認知科學裡管這個叫"直覺物理"（intuitive physics），Josh Tenenbaum 和 Tom Griffiths 這些人做了很多這方面的工作。 德拉甘的團隊做的事是：嘗試去推斷人心裡用的是哪一套簡化的物理模型。然後允許機器人根據這套模型去校正人的操作。你在螢幕上按了個方向，機器人不會直接執行你按的方向。它會先想：按照你腦子裡那套簡化物理，你以為這個操作會把飛行器送到哪兒？然後用真實物理反推，我該做什麼，才能讓你以為的那件事真的發生。 結果是，玩這個遊戲的人，真的把飛行器降落在兩個旗子之間了。她說這個實驗還遠遠不算定論，但至少是個證據：當我們放棄"人就是亂的"這個結論，轉而認真去建模人腦子裡的世界觀，人是可以被理解的。 她把這個思路延伸得很遠。也許人並不混亂，只是他們的計算能力有界，注意力有限，對世界的理解有偏差。也許人對獎勵本身的估計都是模糊的，他一邊活一邊在搞清楚自己到底喜歡什麼。你開啟 Netflix 翻來翻去最後選了一個，系統把這個當成你的偏好訊號，可你自己可能都還沒弄清楚你喜不喜歡這個。那一個選擇本身談不上"最優"的表達，它只是一個還在探索中的行為的副產品。 **人看起來亂，多半是因為他的資訊、他的信念、他的計算資源和我們假設的不一樣，跟放棄理性沒什麼關係。**這在機器人之外也是個好用的生活經驗：當你覺得某個人做事莫名其妙，先別下"他不理性"的結論，先去找他腦子裡那個你沒看到的假設。 ## 機器人可以主動出擊，去問清楚 回到開車。這一部分講得很具體。 你開的是一輛自動駕駛車，想變道到旁邊那輛車前面。你不知道那個司機的風格，他是激進還是保守，他會不會讓你。 如果你只是被動觀察，你會怎麼做？你會開在他旁邊，一直開在他旁邊，等他的行為暴露偏好。可問題是，他只要直著往前開，你就什麼資訊都拿不到。他激進還是保守，在直行的時候看起來完全一樣。 **機器人可以主動設計自己的動作來收集資訊。** 德拉甘團隊裡 Dorsa 做的一個工作就是這個。車會先往那個司機的車道輕輕探一下，看對方會不會減速。如果對方減速了，它更新對這個司機的模型：好，你偏防禦型，那我就可以放心過去了。如果對方不讓，它也更新：你偏激進，我等下一輛。 這就是一個舞步。你用你自己的動作去問對方一個問題，對方的反應就是答案。 她說全世界認真想這件事的人一隻手數得過來。原因是很多機器人研究者其實怕人，人太亂、太複雜，乾脆繞開。她的態度正好相反：人可以亂，但人也在反應，反應裡全是資訊。 ## 機器人也在被人類看 Lex 在這裡補了一個角度：人是會反過來建模機器人的。你對著機器人做一套動作，對方腦子裡也在更新"這臺機器是個什麼東西"。 她順著這個角度往下走。人天生就會對機器人的行為做貝葉斯推斷。你看到一輛車強行插到別人前面，你立刻更新：這車挺兇。你看到機器人的頭朝向一扇門，你猜：它要去那扇門。 那麼問題來了：既然這個過程一定會發生，機器人能不能主動去影響它？ 答案是能。把"人對機器人內部引數的信念分佈"也納入機器人的狀態空間。機器人每做一個動作，人就會用貝葉斯規則更新這個信念。機器人現在要解的最佳化問題變成了：我該做什麼動作，才能讓你更新後對我內部狀態的判斷，儘可能貼近真相。 數學上其實就是貝葉斯更新，人看到動作，假設機器人是理性的，於是反推出機器人想幹什麼。機器人反過來用這一點，去挑選那些"能把我的真實意圖講清楚"的動作。 這道題的解法，是把"人對我的看法"明確寫進狀態裡，然後最佳化它。人和機器人同處一個空間，互相建模是躲不掉的。與其放任誤解自然生長，不如讓機器人主動把"我到底想幹嘛"這件事表達清楚。 ## 孩子對 Alexa 沒禮貌，這件事讓她擔心 Lex 在這裡丟擲一個他反覆想的問題。他讀到有孩子在對著 Alexa 大喊大叫、出言不遜，因為對它無禮不會有任何後果，Alexa 永遠用同一個語調回復。 德拉甘接過這個話題，講了兩點。 第一點是關於表達。她認為機器人也該有一點"被欺負會顯得不舒服"的樣子。人有種本能，看到能表達的東西就會擬人化，會對它產生情感反應，哪怕你清楚地知道那只是一臺機器。她舉了一個經典的心理學實驗：螢幕上幾個三角形和一個圓點在動，其中一個三角形去追那個圓點，看的人會真的對那個三角形生氣，覺得它幹嘛不放過那個圓點。人控制不住這種反應。 既然控制不住，那麼讓機器人表現出一點情緒、一點猶豫、一點"被推了會退後"的姿態，反而能讓人對它客氣一點。這麼做的好處主要落在人這一側：讓人自己舒服，也讓孩子學會怎麼對待一個會回應的物件。 第二點是關於脆弱。Lex 說他覺得機器人得像人一樣，得有點態度、有點神秘、有點不怒自威，否則人不會尊重它。她補了一個不同的角度：**人會回應強勢，也會回應脆弱。** 不必只靠"硬"來換取尊重。示弱、求助、明顯地不知所措，這些同樣能建立連線。她並沒有說哪種更好，只是提醒，別把人機關係想成一場誰壓過誰的角力。 ## 路口的博弈，比碰撞檢測難一個量級 話題轉回開車。Lex 提到吉姆·凱勒（Jim Keller）的觀點。凱勒是傳奇晶片架構師，也帶過一段時間的 Autopilot 團隊。他的直覺是：駕駛本質上還是個彈道學問題，把車當成一個運動物體，躲開別的東西就行，人這個因素可以暫時忽略。 Lex 自己不同意。他覺得一旦人摻和進來，難度至少要再乘個數量級。 德拉甘沒有直接站隊，她換了個問法。**先把舊金山市區裡所有的人拿掉。**沒有行人，沒有人類駕駛的車，沒有騎車的，沒有電動滑板車竄來竄去。就剩自動駕駛車自己。她說，那種情況下，駕駛這件事基本算解決了。 這句話劃出了一條清晰的界線：感知、控制、規劃這些環節都不是眼下的死結，真正的死結是那個活生生的、會看你、會被你影響的人。 感知這塊，她認為這些年進步很大。幾年前說這話不成立，那時候連"路上有什麼"都搞不清楚。現在把人類清空，感知不再是攔路虎。剩下的挑戰在邊緣情況，在施工區，在路面溼滑時動力學模型的漂移，但這些都不是根本性的。 真正讓她心裡沒底的，是人。 她拿高速合流舉例。一輛車想並進主路，一直並進不去。為什麼？因為它觀察後面的車流，預測這些車會繼續直行，然後它發現任何一條可行軌跡都會和別人的軌跡相交。於是它停在那兒，永遠等下去。 這個僵局是怎麼破的？靠把對方也當成會反應的物件。這輛車往前探一點，主路上的司機看到有人要並，可能就會松一腳油門讓它進來。**對方的動作會因為你而變化，這就是博弈。** 她把這個思路聯絡到控制論裡的"欠驅動"（underactuation）。一個系統裡有些自由度你能直接控制，有些你控制不了，但你能影響。人機互動就是這個結構。你沒法直接操縱那個司機，但你能透過自己的動作去影響他的決定。 她說她喜歡把"人機互動"叫作"欠驅動的機器人學問題"，這裡面有種詩意。 ## 過馬路是一場每天都在上演的膽小鬼博弈 Lex 接了一段很個人的觀察。他攢了幾百小時的影片，專門看行人過馬路。他的說法有點好笑：這是個奇怪的愛好，但他從中看到了很多關於人性的東西。 過馬路這件事，在美國每天發生幾千萬次，本質上是一場微型膽小鬼博弈。誰先讓，誰先走。尤其在路權模糊的地方，規則說不清，剩下的就靠默契，靠那個路口在一天裡不同時段的"性格"。 他說有些人根本不"探"，直接邁步，用一種很確定的姿態走過去。他認識一個跑步的朋友，給過他一條建議：跑步的時候別跟人對視，所有人都會給你讓路。 德拉甘說這有個名字，叫"禮貌性疏忽"（civil inattention）。她解釋了背後的機制：**當你用動作傳達出"我很確定、我不會改路線"的時候，你其實是在告訴別人，別指望我會讓，你得繞開我。** 反過來，如果你猶猶豫豫、左顧右盼，你傳遞的訊號是"我還在遊戲裡，我的動作可以被影響"。於是對方也會試探你。這就是為什麼那種"毫不遲疑地往前走"的人能順利透過，而那些猶豫的人反而被車流困住。 她把這段和之前講的資訊收集接上了。機器人探那一下，就是在玩這個遊戲。不同在於，機器人得算清楚：我這一探，能不能換回我需要的那個資訊。 ## 鐳射雷達是不是柺杖 聊到自動駕駛的技術路線，Lex 提到了埃隆·馬斯克那句著名的判斷：鐳射雷達是"柺杖"（crutch）。 她說這句話在直覺上有意思。**今天能用的東西，往往是通往明天更好的東西的柺杖。**在學術圈裡，這一點看得特別清楚。一個方法一旦奏效，研究者的思路就容易被它框住，不願意往外跳。 但安全攸關的系統是個例外。它的邏輯是反過來的：能用、可靠、經過驗證的東西，就應該繼續用。所以在真實世界的安全系統裡，這條"柺杖"哲學不適用。 她說她自己的資訊主要來自那些既用攝像頭也用鐳射雷達的系統。在沒搞清楚純視覺能不能撐住之前，用鐳射雷達是穩妥的選擇。她沒有判定純視覺一定不行，只說自己不瞭解足夠多的細節去下結論。 ## 鳳凰城那次無人駕駛，她記了很久 她提到自己去鳳凰城坐過 Waymo 的無人車，還拍了影片。她說那是她人生裡幾個重要的機器人時刻之一。 聽起來有點傻，但坐進一輛沒有司機在駕駛座上的車，方向盤自己轉，車按限速開，遇到行人會減速，過路口、左轉、併線，處理得乾乾淨淨。**那種感覺和看演示影片完全不是一回事。** 她在這裡給了一個很清醒的判斷。這些系統在特定區域、特定條件下確實跑起來了，說明這條路能走，能擴。但這不等於剩下的都是工程問題。她說自己是在"相當寬泛地猜測"，新城市、新挑戰會不斷逼出新的演算法，或者至少是改過的演算法。 沒有人已經跑遍所有地方。這個事實本身就說明，擴充套件還沒到"只需堆人力"的階段。 ## 機器學習在這條路上能佔多大比重 Lex 問了個具體的問題：這些自動駕駛系統裡，有多少是靠學習和資料堆出來的，有多少是人手工寫進去的規則和啟發式？ 她先給了一個不太討巧的回答框架。她說，當人們把這個問題表述成"一堆人寫下的規則，對陣端到端的強化學習或模仿學習"的時候，這個二分本身就漏了東西。 被漏掉的那一塊是規劃、搜尋、最佳化。機器人學本質上是個序貫決策問題。讓一個機器人在空間裡自己搜出一條能到目標又不撞東西的路徑，這裡面沒有一條是人寫下的規則，它是搜出來的、最佳化出來的。這塊東西在她看來極其重要，不該被"規則對陣學習"這個框架擠掉。 她也不認為只靠學習就夠了。只做模仿學習，一旦偏離訓練分佈就完蛋。只做強化學習，你要麼在真實世界裡試錯，代價太大；要麼在模擬裡學。而模擬裡學，你又得先能建模這個世界、建模裡面的人，才能保證學出來的策略在真實世界跑得動、還能繼續學。 所以她的答案是：**學習、搜尋、建模，這三樣誰也替代不了誰，得搭在一起用。** Lex 順著問模擬在人機互動裡有沒有用。她說有用，但有個前提：模擬裡的人類模型，得是構造的和學習的結合。如果只是抓一批人的資料擬合出一個策略，然後讓機器人去算"如果人就是這樣，我該怎麼做"，那機器人的最優反應會很快跑到資料分佈外面去。到了外面，那個擬合出來的人模型就徹底失效了。 問題在於，符合你手上資料的人類策略有無窮多個。你從有限資料里根本沒法確定，分佈外的那個人會怎麼動。 ## 人類怎麼在分佈外思考，這還是個謎 Lex 在這裡追問了一個更深的東西。"分佈外"這個說法本身是機器學習詞彙，它隱含地假設了存在一個統計模型能代表你見過的那些資料。可人是怎麼在完全沒見過的情況下做出合理判斷的？ 他說自己隨便走在什麼新情境裡，都能大致猜到接下來會發生什麼，雖然有時會錯，但大體靠得住。這個能力是怎麼來的？ 德拉甘的回應是，這最終要落到"你要給模型注入什麼樣的先驗"這個問題上。資料能告訴你的東西有限，你得人為地加上一些假設，讓模型在沒見過的資料上也能泛化。什麼樣的假設才是對的？她也不知道。 她給了一個可能的方向：也許最合理的先驗是"人是有意圖的，意圖驅動行為"。在沒有近距離資料反駁這個假設之前，就預設這一條。至於這條先驗在其他情境下會不會出錯，會不會需要更復雜的信念結構，她說這是個完全開放的問題。 她還補充了一個容易被忽略的點：預測一個人的下一步，不光要看他現在的狀態，還要看他到目前為止的歷史。因為你需要從歷史裡判斷"這是個什麼樣的人"。"歷史"是最近幾分鐘，還是最近幾個月，取決於任務。而這個從歷史狀態到動作的對映，同樣有無窮多種可能。 所以她真正在意的是：**我們該下什麼樣的假設，才能讓這些模型在資料之外還站得住。** ## 要不要把"怕死"顯式寫進獎勵函式 Lex 提了一個他覺得繞不開的東西。行人過馬路那場博弈，底層其實是對死亡的恐懼。人不想死。這個"不想死"是不是得顯式編碼進模型裡？不然機器人怎麼理解人在路口的那種謹慎和算計？ 德拉甘的回答出人意料地簡單。她說，也許不用顯式編碼。 因為一旦你把一個智慧體建模成"有目標、要達成某些事"的存在，你就隱含地給了它一個活下去的動機。**一個死了的智慧體沒法達成它的目標，所以它會自我保護，這是個自然推論，不需要單獨寫一條。** 她引了斯圖爾特·羅素（Stuart Russell）那句很有名的話：**你死了就沒法去拿咖啡了。**（You can't fetch the coffee if you're dead.） 她說這正是她被理性框架吸引的原因。儘管這個框架到處是漏洞，但它極其有用。你一旦把智慧體當成有目標的，很多看起來需要單獨處理的動機，會自動從結構裡長出來。她的備選是什麼？放棄，或者用完全的黑箱。可黑箱在分佈外你什麼都不知道。 所以她寧願留在這個不完美的框架裡，同時保持警覺，隨時準備發現假設失效、去修正它。 ## 坐在副駕"監督"，和真的在開車，是兩回事 話題轉到已經在路上跑的 L2 級輔助駕駛系統上。Lex 特別提到凱迪拉克的 Super Cruise，那套系統帶一個對著駕駛員的臉部攝像頭，用來確認你還在看路，能脫手但不能脫眼。 他問：這種"機器人很笨、靠人補位、兩個人一起活著"的設計，從研究角度看有多難？真正裝到車上去賣，是不是條好路？ 德拉甘先點出了這類系統普遍暗含的一個假設：我現在不真的在開車，我在監督，我的任務是隨時介入。這個假設要成立，得成立一件事：我監督時的安全水平，和我親自開的時候一樣。 她對這個假設存疑，從兩個角度看。 **技術上，**如果讓系統自己開一會兒，車會跑到人自己開時根本不會去的位置，也就是從人的視角看是"換了策略"（off-policy）的狀態。而人在這類狀態裡的表現，是不是和他在自己熟悉的狀態裡一樣好，這個問題不好回答。 **人的因素上，**她覺得主動參與和被動觀察是兩種非常不同的體驗。哪怕你努力保持投入。她拿學習舉例子：學生自己努力想答案，比被動聽人給答案，學得好。航空領域在人機因素上做了幾十年研究，這兩者不等價，基本是定論。 但 Lex 在這裡提出了一個他堅持了很久、也因此捱了不少批評的觀點。他說這些研究裡預測的很多東西，在真實系統上被推翻了。他跟很多人聊過、也看過大規模的資料，發現在監督"足夠笨"的半自動系統時，人反而更警覺。人在觀察狀態下的狀態，可能比主動駕駛時還好。 德拉甘在這裡沒有強硬地守住立場，她的回應很坦誠。她說她同意這個可能性真實存在。她想指出的只是：如果你天真地做，你就隱含地相信了那個可能錯誤的假設。但如果你把問題想清楚，去設計一個能讓駕駛員持續參與、持續被調動起來的系統，那結論就不同了。 她把這個區別講得很清楚：**"我想讓人基本不開車，但隨時準備接管"和"我想讓人和系統配合起來表現遠好於他自己單獨開"，這是兩種完全不同的設計哲學。** 前者的目標是減輕負擔，後者的目標是放大能力。兩者聽起來都合理，但會導向完全不同的互動設計。 ## 獎勵函式是怎麼寫出來的？答案是：寫不出來 這一段值得慢慢看。 Lex 問：我們到底怎麼設計獎勵函式，怎麼搞出"好"的獎勵函式？ 德拉甘說：**答案是，我們不搞。** 她講了自己的轉變過程。她以前研究的問題是"怎麼把獎勵定製給終端使用者"，因為獎勵本來就是關於那個具體的人想要什麼。後來她意識到，就算把互動那一層完全去掉，單純設計一個獎勵函式本身就極難。 她的意思很具體。假設有個智慧體，它的任務是最佳化某一個目標，某個獎勵、某個代價。你把它寫出來，然後部署。你希望的是：不管你把這個智慧體扔到哪個新情境裡，你寫下的那個函式所激勵出來的行為，都是你想看到的。 做機械臂運動規劃的時候，她寫一個代價函式，比如離人應該保持多遠、效率該佔多少權重。她需要保證，機器人在每一個新情境下解這個最佳化問題解出來的行為，都是她要的那個行為。 她說，**我們根本不知道怎麼做這件事。** 她實際能做的，是想幾個她認為有代表性的情境，然後反覆調那個獎勵函式，直到在這些情境上的最優行為看起來是她想要的。 這件事讓她很挫敗。因為強化學習革命給出的承諾是：不用再手動寫行為了，你把情境丟進去，機器人自己算出最優動作。聽起來很美。可實際上，你把調參的工作從"寫行為"搬到了"寫獎勵"。她承認後者少得多，但它仍然是大量工作，而且你永遠無法確定自己有沒有漏掉五十億個重要的東西，以及這些東西該怎麼組合起來告訴機器人什麼叫好、好到什麼程度。 她說這段話的時候帶著自嘲：她調了十年的成本函式，有很長一段時間對這個事實視而不見。 ## 古德哈特定律，在機器人身上也成立 Lex 把這個問題提升了一層。他說這其實不專屬機器人，這是人的問題。他提到古德哈特定律：**一個指標一旦成為被最佳化的目標，它就不再是一個好指標了。** 德拉甘接得很好。**你寫下的獎勵，機器人會忠實執行，但它執行的不一定是你想要的東西。**你尊重了規格，可規格錯了。 這裡有個很漂亮的轉折。她原來研究"機器人怎麼和終端使用者協作，搞清楚使用者想要什麼"。但她發現，這件事同樣適用於機器人和那個寫程式碼的程式設計師之間的協作。 程式設計師寫下獎勵函式，那是他在這個情境裡能做的事情。他沒法扮演全知全能、精確無誤的神諭。他盡力了，但他寫的那個東西只是一份證據，是關於"人想要什麼"的一份不完備的證據，一份需要在具體語境裡被解讀的說明，算不上一道終身有效的法令。 所以機器人對待獎勵的態度應該是這樣的：**這是關於我該幹什麼的有用資訊，但遠遠不是全部資訊。**它應該結合其他訊號，去推斷那個真正想被最佳化的東西。 這就把問題從"怎麼把獎勵寫對"變成了"機器人怎麼和寫獎勵的人一起，把獎勵逐步修正對"。寫獎勵的程式設計師和機器人之間，也構成了一種新型的協作關係，也需要一輪輪的來回試探。 ## 推機器人那一下，是一次糾正，是一份偏好訊號 她講了一個很具體的場景。 想象一臺機器人在你家裡幫你搬東西、收拾東西。它有程式設計師給的一個初始目標，夠用了，能幹活。 然後你注意到它走過來的時候離你太近了。你伸手把它推開。 這是個物理互動。在傳統控制理論裡，這個推力被當成一個"擾動"（disturbance），控制器的工作是拒絕它，回到原定的軌跡。 她還提到另一種處理方式，更笨拙但更直覺：進入重力補償模式，讓機器人變得能被推動，你往哪兒推，它往哪兒走。 而她想的是第三種。**那個推力其實是一個關於獎勵的訊號。** 邏輯是這樣的：如果機器人原本的動作是最優的，而我推開了它，那說明我不認可它的那個"最優"。我認為它認為的最優，其實不最優。換句話說，那個代價函式寫錯了，那不是我想讓它乾的事。 所以這麼一推，機器人可以反推出：這個人希望我離他遠一點。它改一下代價函式，下次就會自動保持距離。 同樣的邏輯適用於急停。你按了急停，可能是因為恐慌，可能是因為它真要做壞事了。機器人從這一次訊號裡能學到的不只是"該停"，還有"我正要做的這件事，壞到了寧可停下來也不該做"。這也是一條關於偏好的資訊。 她還提到更極端的訊號採集方式。如果一次推力有多種解釋，機器人可以主動設計動作去區分它們。比如它朝某個方向移動，看看你會不會再次糾正它，用這種方式把幾種可能的解釋分開。這正是前面講的那種資訊收集動作，只不過這裡發生在物理空間裡。 當然她也承認了難點。一次推力可能有上百萬種解釋，單靠一次修正學不會。你需要的也許是一段足夠長的相處，讓使用者能逐漸把偏好刻進這臺機器人的獎勵函式里。每一次糾正都是一小筆存款，攢夠了才看得見輪廓。 ## 環境本身，也在洩露人的偏好 她說，人不僅透過行為洩露偏好，環境本身也在洩露。 她的例子是鞋子。機器人走進你家，看到鞋子在門口擺成一條線。這個擺法不可能自己出現，得有人花力氣去做。所以機器人應該能推出來：這個人希望鞋子擺成一條線，這件事對他來說重要到值得花這份力氣。 這個推理不需要機器人看見你擺鞋。它只需要從"這個世界的當前狀態是怎麼來的"反推"有人做了哪些選擇"。 她很小心地補了一句：這個推理不能太粗暴。我屋子亂，不代表我喜歡亂，只代表我沒騰出手來收拾。我把精力放在了別的事上。那機器人該推出來的是"那件別的事更重要"，絕不是"這個人在意亂"。這裡面的分寸很微妙。 這個想法的核心是：**世界當前的狀態，本身就是人做過的一連串選擇的沉積。**你瞭解了這一層，就等於讀到了一部分人想要什麼。 ## 阿西莫夫的三定律，問題在於它是字面的 聊到機器人的倫理邊界，Lex 搬出了阿西莫夫那三條機器人定律：不傷害人類、服從命令、保護自己。 他承認這套東西聽起來天真，但他反覆被人問起這些。他的父母親屬這些普通人，都在用類似的框架想象未來機器人社會：要不要給機器人植入某種普世規則？ 德拉甘說她認為不該是三條定律。她說自己連那三條原話都記不清，而且核心問題是**你沒法把它們翻譯成數學**。什麼叫"傷害我"？這一條怎麼寫成一個能最佳化的函式？ 她回到前面那個主題：你讓機器人按你說的做，但你希望你寫下的東西被理解，而不是被字面執行。你對機器人說的，你要讓它結合具體的語境去解讀。 所以在她的實驗室裡，程式設計師的獎勵函式被當成一份證據，而非一道至高無上的律令。機器人應該持續地擁有"不確定自己的獎勵到底是什麼"這個狀態，然後從所有訊號裡不斷學，每一次糾正、每一次演示、每一次急停，都讓它的理解更準一點。 她把這和物理互動那條線接上了。機器人對獎勵的不確定性，讓它有能力從每一份訊號裡調整自己。 ## 幾條線索捋一下 聊到這裡，其實可以把整場對話的骨架理一理。從頭到尾都繞著"人到底是什麼模型"這個軸轉。 第一階段，人被認為是理性的、在最大化效用的智慧體。 第二階段，加入噪聲，人做的是近似最優的選擇。 第三階段，行為經濟學說人不理性。這時候出現了一個分叉：要麼放棄，承認人複雜到我們的模型處理不了；要麼換一種理解，人也許是在不同的假設下、帶著不同的信念、在有限的計算資源裡，盡力做理性的事。 她選了後一條路。這條路把"人不理性"改寫成"我們對人的假設不對"，把問題從無解變成有解的。 第四階段，重點轉移到了**人和機器人互相建模、互相影響**這件事上。人不是被動地被觀察，人是會反擊、會讓步、會試探的物件。機器人也不只是被動的執行者，它可以主動發問、可以塑造別人對它的看法，可以設計動作來套出資訊。 這個轉向很關鍵。它把"人機互動"從一個靜態的"人對著人"的問題，變成了一個動態的博弈：雙方都在觀察對方，都在調整自己，都在試圖影響對方的理解。她講的那臺會先探一下再變道的車，那臺會在孩子推它時退後半步的機器人，那臺會盯著你糾正它的手去反推代價函式的機械臂，全都在這個框架裡。 ## 一本 PDF 和一位免費補課的老師 Lex 問她，有沒有哪本書影響過她的人生，或者會推薦給別人。 她講了一段高中時的事。12 年級，她在羅馬尼亞搞到了一份 Russell 和 Norvig 那本《人工智慧：一種現代的方法》的 PDF。那時她對 AI 一無所知，只是看過《駭客帝國》。 她開始讀那本書。讓她著迷的是那個概念：你有一個目標，然後你可以從一個混亂、複雜的情境裡，自己找出該做哪一系列決策，去達成這個目標。用自主的方式達成這個目標，這件事在她眼裡太酷了。 她說自己知道這想法帶偏見，但那真是本好書。把智慧、把思考的過程，用數學的方式表達出來，這個概念一直跟著她。她今天的工作方式還是這樣：**寫一點關於人的數學，和資料、和學習結合起來，把它交給機器人去規劃。**不寫規則，不給啟發式，讓機器人自己算出周圍有人的時候該怎麼做。她說這是他們實驗室的招牌招式。 她說這和她當年看那本書時的興奮是同一個興奮。當年是一個搜尋演算法在圖上自己找到通往目標的路徑，今天是機器人在人群裡自己找到既安全又順當的動作序列。同一件事，只是換了個舞臺。 然後 Lex 問她，有沒有一位老師特別幫助過她。 她講出來的這一段有點動情。高中那會兒，同學們在外面做補習，準備畢業會考。她的物理一直沒怎麼上心，於是也去找了那位老師，名字她唸作比卡（Bîcă）。 是這位老師給她開啟了一扇門。老師跟她說，你該去參加競賽，去申請國外的大學，把英語也練好。家裡拿不出這些錢，老師就開始免費給她補物理，還坐下來幫她訓練參加奧賽的那些東西。 **她能被伯克利錄取、能站到今天這個位置，這條路上的一個關鍵節點，來自一個完全沒有理由免費幫她的人。** 她說那個年代的那些小小的善意，就是有人單純想拉一把，幫一個學生走得更遠。 ## 如果醫生說她只剩五年 Lex 提了一個假設：如果醫生告訴你只剩五年，你會去做什麼？ 她立刻說這是她最大的噩夢，因為她真的很喜歡活著。她說不喜歡死亡這件事，也不喜歡被告知自己會死。 Lex 接著追問：你怎麼看死亡，是把它當作一個特性，還是一個 bug？如果可以選，你願意永生嗎？ 她說她也不想永生。她提到一部劇，《善地》（The Good Place），裡面反覆討論過這件事。那部劇的結論是：連來世都得是有限的，不然人就會失去意義。 她說自己不是信徒，不信死後還有什麼。她認為死亡就是終點，之後你就不存在了。而她喜歡存在，覺得能存在是一種巨大的特權。 接著她說了一句很動人的話。她說，她依然認為我們那麼喜歡存在，是因為它會結束，這很讓人難過。**她眼裡幾乎一切都是美的，連最傻、最日常的東西都是美的。**她也清楚自己之所以覺得它美，部分是因為它有限。 Lex 在這裡把話接回機器人。他說，有限性似乎是人類存在的一個根本特性，也許這個特性應該被編碼進我們的獎勵函式里。 她笑著說，有人批評她這是俄羅斯式的憂鬱和浪漫，但這種有限性，也許確實是人的存在裡該被放進模型的那一部分。 回到五年那個問題。她想了一會兒，說她不確定自己會改變什麼。她做的是理解人機互動這件事，她還想繼續做下去。也許會多去幾趟加勒比海。她儘量做那些讓她快樂的事，包括思考這些問題，這些事本身就讓她快樂。**不做不帶來快樂的事，她大體上已經在這麼活了。**也許少做些系裡的雜務，不再管招生，但她的同事、她的學生、她的家人朋友都很好，她已經在做的事情就是她想要的。 ## 一次天文館裡的頓悟 最後，Lex 問了個大得不太正經的問題：生命的意義是什麼？我們人類是被什麼樣的獎勵函式驅動的？ 她說這個問題沒法嚴肅地談，太荒唐了。但她還是講了一段。 她在一次天文館裡。那個節目先是展示宇宙，然後鏡頭不斷拉遠、拉遠，拉到你只是一粒塵埃。那一刻她腦子裡在想，我們人類其實就是在這顆小星球上，對宇宙來說無關緊要。 然後講解員聊起了多重宇宙理論。鏡頭開始往下縮，說這是我們的宇宙，外面還有無數個其他的宇宙，它們在不斷地誕生、消失。於是我們那整個連尺度都無法想象的宇宙，本身也只是一個冒出來又消失的泡。 她說那一刻她想：行吧，那宇宙沒有意義。 她得出的結論很樸素。既然宏觀上沒有意義，那該做的就是**去影響你所能觸及的那一小塊，你的社群、你的朋友、你的家人，去為周圍的人在場**，因為往更大處看，一切都很荒唐。 Lex 問她，怎麼看待這些多重宇宙，是被它的浩瀚打動，還是被它弄得有點不知所措？ 她說她感到挫敗。她挫敗於自己理解不了。有些東西明明那麼重要，她不懂，她知道世界上那些物理學家更懂，但也不完全懂。她說這感覺像是我們的大腦沒有那個基本的容量。 然後 Lex 把話收回到了 AI 上。他說，這正是人工智慧的夢想之一：造出系統，擴充套件我們的認知能力，去理解物理學裡那個萬物理論，去搞清楚這些多重宇宙到底是怎麼回事。 這場關於機器人怎麼理解人的對話，最後落在了"人怎麼理解宇宙"上。落點也對得上：**我們一直在用人能聽懂的語言，去建模那些我們看不懂的東西。對機器人來講，那些語言就是獎勵函式。對我們自己來講，那些語言就是物理定律。** 而她把"擦窗"這件事做了一輩子。從逆向強化學習那條"人是最優的"假設開始，到玻爾茲曼理性的噪聲版本，到行為經濟學的"人就是亂的"，再到她自己那句"人也許只是假設和我們不同"，每一次她都在把上一層的假設擦掉，看看光能透進來多少。 節目結尾，Lex 引了阿西莫夫的一句話：**你的假設是你看世界的窗戶，隔一陣就該擦一擦，不然光透不進來。** 這句話接得剛剛好。整場對話做的就是這麼件事。把"人是不理性的""獎勵函式寫對了就行""人監督和開車是一回事"這幾個假設一遍遍擦掉，光才慢慢透進來。 - 當你覺得某個人（或某個使用者、某個同事）做事莫名其妙的時候，先別急著判定他不理性。往前一步，去找他腦子裡那條你沒看到的假設：他掌握的資訊、他的信念、他的計算資源，和你預設的一定不同。 - 如果你在做產品、寫規格、定指標，記得古德哈特定律會應驗。把指標當成"關於使用者想要什麼的一份證據"，不要當成"我必須字面執行的命令"。給你的系統留出空間，在收集到新訊號之後修正自己的理解。 - 面對不完全可控的系統（人、組織、市場），別隻做被動預測然後躲開。像那臺想變道的車一樣，主動設計一個動作去發問，看對方的反應，再更新模型。被動觀察換不來關鍵資訊。 - 在安全和自動化交界的地方，別預設"監督等於駕駛"。如果你在設計輔助系統，明確地問自己：我是想讓人少幹活，還是想讓人和系統合起來比人單獨幹更強？這是兩個不同的設計目標，會導向完全不同的互動方式。 - 人不僅在語言裡洩露偏好，行為裡、環境裡都在洩露。那些被刻意擺正的、花了力氣維持的東西，其實都是有人在告訴你"這個對我重要"。反過來，當你想讓別人（或機器）懂你時，比起寫一條規則，不如留下一個能被解讀的痕跡。 - 找個時間把"人的行為相對於他想要的東西是否最優"這條假設拿出來檢查一次。理解同事、伴侶、使用者的時候，這大概是最值得定期擦一擦的那扇窗。