# 凱特·達林：社交機器人、倫理、隱私與 MIT 的未來 > 機器人倫理研究者談人機情感聯結、隱私風險，以及 MIT 研究生態的變化。 - 原標題：#329 – Kate Darling: Social Robots, Ethics, Privacy and the Future of MIT - 期數：第 329 期 - 釋出日期：2022-10-15 - 嘉賓 / 主題：凱特·達林 - 網頁版：https://lex.qiaomu.ai/tw/ep/kate-darling-2/ - 官方頁面：https://lexfridman.com/kate-darling-2/ - 精讀字數：約 6792 字（閱讀約 15 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 Stop & Shop 是美國東北部的一家連鎖超市。它家門店裡有個巡檢機器人，叫 Marty，一米八的個子，頭頂兩隻巨大的卡通眼睛，整天在貨架之間慢慢晃，找地上的灑漏和空缺的貨。 人們討厭它。 討厭到什麼程度呢？Stop & Shop 有一回給門店裡的 Marty 辦了個生日派對，免費發蛋糕和氣球。MIT 的一位研究者做了個推特情感分析，發現關於 Marty 的負面提及量在那一天衝到了最高峰。 免費蛋糕都救不了它。 這件事被 Kate Darling 反覆拿出來講。她是 MIT Media Lab 的研究科學家，研究方向是人機互動和機器人倫理，寫過一本書，叫《The New Breed: What Our History with Animals Reveals About Our Future with Robots》（新物種：我們與動物的歷史如何揭示我們與機器人的未來）。她和 Lex 聊了兩個多小時，從“什麼才算機器人”這種看似無聊的問題開始，一路聊到為什麼大公司做不出好東西，為什麼機器人該學會道歉，以及為什麼給醫院送藥機器人起名叫 Roxie 和 Lola 是一種失職。 ## “什麼算機器人”這個問題，沒人答得上來 Kate 的書第一章就問了這個。她的回答是：她也不知道，而且這個問題本來就不該有標準答案。 她說，翻歷史會發現一個規律：**一樣東西在被叫作機器人的時候，往往是因為它身上還帶著某種“魔法”**。這個魔法指的是超出普通人理解範圍的那部分能力，那種“它是怎麼做到的”的神秘感。一旦技術普及，魔法消失，它就不再是機器人了。自動售貨機在幾十年前就被稱作機器人，現在沒人這麼叫。 Lex 給了一個自己的定義：機器人是某種具備一定智慧、又保留一點魔法的東西，那點魔法讓它可以應對生活裡的不確定性。按這個標準，自動駕駛汽車算機器人，因為它要在混亂的真實路況裡做判斷。 Kate 說她認同這個角度。而機器人學家給出的技術定義是另一套：得有物理實體，得知覺，得感知環境，得自主決策，得作用於環境。這套定義聽起來挺嚴謹，但拿智慧手機一套就崩了：手機全都能做到，可沒有一個機器人學家會承認手機是機器人。 > “我在這本書裡沒有給機器人下一個確定的定義，因為不存在所有人都同意的定義。” （凱特·達林） 真正讓 Kate 在意的是另一件事：普通人腦子裡的機器人形象，幾乎都指向人形。你去 Google 圖片搜“robot”，出來的全是有軀幹、有頭、兩隻胳膊兩條腿的仿人機器。 她想把這條思路掰回來。因為一旦把人形當成預設設定，後面的討論就全歪了。 ## 拿機器和人比，從一開始就比錯了物件 為什麼人形設定會把人帶溝裡？Kate 給了兩個理由。 第一個是技術上的。早期人工智慧研究裡確實有一批人想復刻人類智慧，這個方向今天還有人在做，學術價值也還在。但走到今天，AI 並不是照人腦那個路子長出來的，它壓根不按人的方式“想”。可公眾討論裡，一提到智慧，比的永遠是人的智慧，好像人的智慧是唯一的座標原點。 第二個理由更直接：**把人類已經有的智慧再造一遍，本身就沒多大意思。** 她的原話大意是，從理解自身智慧的學術角度看，複製人類智慧有意義；可從“這東西能拿來幹什麼”的角度看，真正有意思的是造出新東西，造出一套人類沒有的技能，然後跟它合作。它得在很深的層面上跟我們相似，否則沒法建立連線，但在大多數維度上應該跟我們不同。 支援人形機器人的常見論據有兩條。一條是溝通，人最容易對跟自己像的東西產生共鳴；另一條是環境，我們的世界是為人造的，有臺階、有窄門、有門把手，機器人想在這個世界裡走動，人形最省事。 Kate 認第二條，但對第一條有保留。 社會機器人學這些年的研究結論是：**你不需要它長得像人，甚至不需要它表現得像人，只要它能發出足夠多的社交線索就夠了。** R2D2 只會嗶嗶叫，一個帶輪子的垃圾桶，人們對它的喜愛程度超過 C-3PO 這個真正的人形機器人。 一個發光的球體，一個語調，一次極簡的互動反饋，就能讓人開始擬人化。Kate 說，很多團隊在這件事上過度設計了，簡單的東西往往走得最遠。這話動畫師最懂。 ## 真正該請來設計機器人的，是迪士尼那幫人 Lex 接過話頭說，設計 Cosmo（Anki 出品的桌面機器人）的那批人，本質上就該是動畫師，是迪士尼那種背景的人，而不是機器人學家。機器人學家在自己的學科裡很強，但跨界的事他們不懂。 Kate 順著他往下說了一個判斷：**21 世紀初的機器人學和 21 世紀後期的機器人學，會是兩回事。** 今天你自稱機器人學家，做的主要是控制和機構；往後，那些真正沒解決的大問題全都落在社交層面、落在跟人打交道上、落在感知和“大腦”這一層，底層控制反而會成為相對成熟的部分。 Lex 認為機器人學正在經歷一次“出櫃”。機器人早就在了，只是一直待在幕後，待在工廠裡，現在它們開始走進超市、醫院、街道這些跟人共享的空間。而這一批公司正在犯同一類錯誤：把所有精力砸在工程上，砸在讓機器人別撞到人上，卻忘了想一件事。 他的說法是，你不該只去解決感知和控制問題，你還得教會機器人說一句“操，對不起，我搞砸了”。 > “或者學會求助，或者能把自己的不確定性表達出來。” （凱特·達林） 她的補充是，感知和控制這道題人類自己也沒解完，我們只是做得特別好而已。真正的魔法在於自嘲、在於清楚自己的短板在哪、在於把這份自覺傳達出去。人機互動領域已經積累了一整套方法來做這件事，問題是很多公司根本不做 HRI，他們的團隊裡沒有這個人。 然後 Marty 就登場了。 ## Marty 做錯了什麼？它什麼都沒做錯 疫情前，Kate 和 MIT 的一位學生打算正經研究一下 Marty 現象，後來因為沒人敢去超市，專案黃了。但前期的觀察已經足夠說明問題。 那位學生在自己的社交圈裡發現，Facebook 上所有人都在抱怨 Marty。“這個詭異的機器人是什麼東西”“它一直在盯著我”“它老是擋路”。她順手做了個粗糙的推特情感分析，抓取提到 Marty 的正負面內容，結果撞上了那個生日派對：Stop & Shop 給 Marty 辦生日會發蛋糕的那天，負面提及量衝到峰值。 誰會因為免費蛋糕而生氣？因為討厭 Marty 的人會。 她們用 Mechanical Turk 做了個線上調查，想搞清楚人們到底不滿什麼。結果顯示，抱怨集中在三件事上：**它是個監控機器人；它在盯著我看；它擋路。** 沒多少人擔心它搶工作。 而 Marty 的真實功能，只是找地上的灑漏。 它不看人，不採集人臉，不做任何跟監控有關的事。可它一米八的個頭，在過道里慢慢挪動，頭頂兩隻大眼睛，這個組合在人的直覺裡就等於“在看”。Kate 猜，那兩隻後來加上去的卡通大眼睛，可能恰恰加劇了被注視的感覺。設計的人大概沒往這個方向想過。 Lex 丟擲了一個類比：Marty 是不是現實版的 Clippy？ 這條線索挺關鍵。Clippy 是微軟 Office 裡那個回形針助手，Lex 喜歡它，但很多人恨它。恨到什麼程度？微軟後來直接把它砍了。 斯坦福的 Clifford Nass 是研究人機互動的老前輩，他對 Clippy 的解釋是：**人們把 Clippy 當成了一個社交主體，而不是一個工具。** 一個工具打擾你、打斷你、記不住你剛說過的話，你會覺得難用；一個社交主體這麼幹，你會覺得被冒犯。所以人們對 Clippy 的抱怨強度，遠超過對一個非人格化軟體應有的反應。 這個邏輯完全可以套到 Marty 身上。它擋路、它盯人、它礙事，這些如果發生在一個推車上，人頂多繞過去；發生在 Marty 身上，人就會發帖罵它。 ## 對機器人的恨，和對機器人的愛，是同一套機制 Lex 提了個有意思的角度：很多人嘴上抱怨婚姻，其實心裡愛得不行。抱怨是一種釋放張力的方式，也是一種表達親近的方式，互相擠對是關係的一部分。 照這個思路，Marty 未必沒救。它缺的是回應能力。 如果 Marty 會還嘴呢？Kate 說這裡面的設計空間大得很。可以順著演：對，我是 CIA 派來的，正在嚴密監控你的一舉一動。也可以拿人的購物記錄開玩笑：我正在收集你的資料，因為你太重要了。任何一種自嘲式的、把恐懼點破的回應，都比沉默要好。 人對機器人或 AI 代理的情緒反應，比對待普通機器要極端得多。原因就是那句老話：它們被當成社會性存在，而不是物件。愛得更深，恨得也更狠，中間地帶很窄。 所以 Marty 的處境很尷尬：它既不討喜，也不討罵，乾乾淨淨地卡在中間。它被硬生生造成了一個“企業伸出來的攝像頭”，而不是一個有自己任務、自己性格的獨立個體。 這裡有個很微妙的人性機制：**我們對一個東西的信任度，跟它看起來有多“獨立”直接相關。** 你跟一個真人說話，預設的前提是這段話不會被立刻傳給 CIA；可你面對一個明顯是某個大公司派出來的機器，這個預設前提就不成立了。人格化程度越低，越像大公司的延伸，被監視的感覺就越強。 而一旦人格化做得很粗糙，效果更糟。人們會意識到：這是公關部門試圖給一臺監控機器套上一層友善外皮。 ## 元宇宙的頭像為什麼看著不對勁 Lex 把這個話題拐到了 Meta 的元宇宙上。扎克伯格發的那些虛擬形象，被人嘲笑得厲害。他說這裡面有個說不清道不明的東西，就是“不真誠”。 這跟社交機器人面對的是同一道題：怎麼設計一個虛擬空間，讓裡面的人際連線達到面對面那種質感。 Kate 說她沒怎麼研究過，只在推特上看過別人發段子。但她提了一個疑問：Meta 砸了那麼多錢，為什麼做出來是這個樣子？總得有個原因。 Lex 跟 John Carmack 聊過這個，他的解釋指向大公司結構本身。 **大公司有一套流程，這套流程會殺死獨立創作者身上的那股火。** 一個想法進了公司，先過 PR，再過法務，再過一堆“這個會不會有風險”的評審，出來的時候已經被磨成了通用款。所有可能引發爭議的東西都被削掉了，剩下的就是安全的、無聊的、誰都不會討厭但也誰都不會喜歡的東西。 他自己補了一句：現在這個環境下，人被嚇怕了，而恐懼的結果就是，鬧得最兇的那批人把一切都毀了。 人際連線的魔法恰恰在於冒風險：開一個可能不太妥當的玩笑，露出一點真實的個性，在安全的邊界內試探。這些在元宇宙裡被徹底警惕掉了，因為性騷擾和性侵犯的可能性確實存在，而且不低。該防，但防過頭的結果是所有人都變成了沒有個性的機器人。 Kate 在這裡補了一個她自己的觀察，也是她長期批評的一點：很多人一談到機器人的人格化，就會擔心“是不是在強化不現實的審美標準”“是不是在物化女性”“為什麼機器人都是白的”。這些擔心本身有道理。但她認為，**創造力足夠的話，完全可以設計出一個非人形、但讓人更有共鳴、同時還繞開所有這些偏見問題的形態。** 問題出在流程上。公司裡有個部門，職責就是找風險。他們的 KPI 就是從任何東西里找出可能有害的部分，哪怕那個東西實際上無害。你讓這樣一個部門去審創意，創意必死。 Lex 的解法是“仁慈的獨裁者”。你需要一個喬布斯式的人物，一個能一刀切過法務和公關、但同時心地善良的人。他說，真正偉大的設計師做出來的東西，不會傷人。他們腦子裡想的是幾百萬人用這個東西時的感受，那種想象本身就能給人帶來快樂。 Kate 同意這個方向，但她的措辭更剋制：**你可以保留判斷權，但至少得讓一群背景多樣的人來看你的作品，幫你發現自己的盲點。** 聽不聽是一回事，有沒有這個反饋渠道是另一回事。你可以選擇忽略，但你得先知道。 ## Roxie 和 Lola：一臺送藥機器人為什麼叫這個名字 Kate 的書裡有一張照片，兩臺醫院送藥機器人，配文是：**“兩臺醫院送藥機器人，它們那性感護士風的名字 Roxie 和 Lola 讓我翻白眼翻到差點掉出來。”** 她說她翻白眼不是因為外形。外形就是個小盒子帶輪子，挺好的。名字才是問題。 給機器人起名字這件事本身沒錯，研究顯示，光是起個名字就能促進技術接受度。機器人出錯的時候，人會想“Betsy 搞錯了，我們幫幫她”，而不是“這破機器又壞了”。 問題在於起了什麼名。 這裡有大量研究：**機器人的性別化命名和它們的職能高度相關，而且帶著明顯的刻板印象。** 做輔助、做護理的機器人，通常被賦予女性化的名字和聲音；做決策、做“全知型計算機”的，比如 Watson，通常是低沉的男聲。Roxie 和 Lola 這種名字，直接就把護士這個職業和某種特定的性別想象綁在了一起。 Kate 的態度是：**這是一罐完全沒必要開啟的蟲子。** 換個名字就繞開了，成本為零。人們之所以沒換，是因為壓根沒往這兒想。 Lex 把話題推進到了更深一層：那是不是乾脆不該給機器人做性別設定？ Kate 說性別是個雷區，但現實是**你很難阻止人去給機器人賦予性別。** 你不給名字、給箇中性聲音，使用者自己會挑一個補上。所以“完全不設定”未必比“設定一箇中性的”更好。 而 Lex 提出了一個更尖銳的批評：他認識不少機器人學家，刻意不給機器人做性別、也不起名，連一個能在對話裡自然使用的名字都不給。他認為這是一種逃避責任。 **人一定會擬人化，這是擋不住的。** 你選擇不做設定，只是把自己從“它會被怎樣擬人化”這個責任裡摘出去了，但擬人化照樣會發生。哪怕是一臺波士頓動力的機器狗，設計上完全沒有社交屬性，人一看還是會把某個部件當成腦袋。 Lex 提到那臺四足機器人上伸出來的機械臂。它本來是隻手臂，但所有人第一眼都當成了頭。波士頓動力後來也接受了這個現實。 Kate 認同這個說法。她的立場是：**既然擬人化必然發生，那設計者就有義務去引導它發生的方式。** 哪怕你做的是一臺工業機器人，你也得預見人會往它身上投射什麼。 ## 波士頓動力的影片，是工程師的幽默，也是無意的廣告 Lex 提到波士頓動力那些病毒影片。機器人跑酷、翻跟頭、被踹一腳還能站住。 Kate 說，早期的波士頓動力是純工程導向，公司幾乎全是工程師，影片也是工程師自己拍的，因為那是他們覺得好玩的事：測試系統的魯棒性。前 CEO Marc Raibert 親自盯著影片的拍攝，對真實性有近乎偏執的要求，不允許在畫面裡出現任何給機器人“放水”的地形坡度。 影片火了之後，他們才開始意識到這件事有意思。 後來警察部門用上了機器狗，輿論炸了，公關噩夢來了，他們才開始招人機互動背景的人。 Lex 補了一個更冷的觀察：**站在波士頓動力的立場，人們害怕這些機器人，某種程度上是好事。** 因為他們主要的錢來自工業場景，工廠巡檢、危險作業。讓機器狗在公眾心裡帶一點恐怖感，影片傳播更廣，品牌更強。他們沒打算把這些東西送進千家萬戶做情感陪伴，所以完全可以在影片裡玩這個梗。 Kate 說他們現在確實很當回事了。但她還是更喜歡那批由工程師主導的影片，因為那是真心覺得好玩才拍的。 Lex 提到自己有幾隻機器狗，正在做研究。他說他有個目標：**家裡任何時刻都得至少有一個機器人在動。** 他還囤了一堆可程式設計的 Roomba，多到不知道拿來幹嘛。 ## 這本書真正想說的是什麼 繞回書名。《新物種》的核心類比是動物。 人類跟動物的關係有幾千年的歷史，其中有奴役、有陪伴、有工具化、有情感投射、有倫理爭議。這些關係裡的每一條張力，幾乎都能在人和機器人的關係裡找到對應。我們不太會把動物當成人類，所以我們不會要求動物達到人的智慧水平，也就不會陷入“機器人還不夠像人”這種執念。 Kate 想借這個類比，讓人放下人形執念，轉而思考一個更實際的問題：**我們想要跟這些新物種建立什麼樣的關係？** 這個問題在設計階段就要回答，而不是等產品上市、使用者開始在推特上罵了才被動補救。 Marty 的教訓是：一個功能上完全正確的機器人，可以因為設計上沒考慮人的社交期待，變成全網公敵。Clippy 的教訓是：一個被當成社交主體對待的軟體，一旦社交表現不合格，使用者的反感會遠超它實際造成的麻煩。Roxie 和 Lola 的教訓是：不假思索地沿用社會偏見，成本極低，代價卻由所有人承擔。 而所有這些問題的共同點是：**它們都不是靠更強的工程能力能解決的，解法在造東西的時候多想一步。** ## 給做產品的人的幾條具體建議 如果你正在做跟機器人、AI 助手、虛擬形象相關的產品，這期對話裡有幾件事是可以直接拿去用的： - 先假設使用者一定會擬人化，再決定你要引導成什麼樣。不做設定不等於擬人化不發生，只等於你把方向盤扔了。 - 把“承認錯誤”和“表達不確定”當成核心功能來設計，而不是等出了問題再補。一句“我搞砸了，對不起”，能擋住的負面情緒遠超你的想象。 - 別在機器人身上用那種暗示監控的視覺元素。大眼睛、持續注視、正對通道的朝向，都會觸發被監視的感覺，哪怕技術上完全沒在採集資料。 - 命名和性別設定之前，先問一句：這個名字是不是在無意識地複製某個社會刻板印象。護理類用女名、決策類用男聲，這套預設值該被打破了。 - 做使用者調研，但別讓調研替你決定未來。你要設計的是還沒存在的東西，而被調研的人活在現在。聽，然後自己判斷。 - 如果公司裡有專門找風險的部門，別讓他們進創意評審的第一輪。他們的工作是從任何東西里找出有害的部分，這個機制對創意是致命的。 - 找一群背景跟你不一樣的人來看你的設計。你不需要聽他們的，但你需要知道自己的盲點在哪。 - 別指望 PR 部門做出好東西。Marty 的生日派對就是公關思路的產物：他們以為問題在於機器人不夠親切，其實問題在於人們壓根不想在超市過道里被一個一米八的東西注視。