凱特·達林:社交機器人、倫理、隱私與 MIT 的未來
Kate Darling: Social Robots, Ethics, Privacy and the Future of MIT
機器人倫理研究者談人機情感聯結、隱私風險,以及 MIT 研究生態的變化。
Stop & Shop 是美國東北部的一家連鎖超市。它家門店裡有個巡檢機器人,叫 Marty,一米八的個子,頭頂兩隻巨大的卡通眼睛,整天在貨架之間慢慢晃,找地上的灑漏和空缺的貨。
人們討厭它。
討厭到什麼程度呢?Stop & Shop 有一回給門店裡的 Marty 辦了個生日派對,免費發蛋糕和氣球。MIT 的一位研究者做了個推特情感分析,發現關於 Marty 的負面提及量在那一天衝到了最高峰。
免費蛋糕都救不了它。
這件事被 Kate Darling 反覆拿出來講。她是 MIT Media Lab 的研究科學家,研究方向是人機互動和機器人倫理,寫過一本書,叫《The New Breed: What Our History with Animals Reveals About Our Future with Robots》(新物種:我們與動物的歷史如何揭示我們與機器人的未來)。她和 Lex 聊了兩個多小時,從“什麼才算機器人”這種看似無聊的問題開始,一路聊到為什麼大公司做不出好東西,為什麼機器人該學會道歉,以及為什麼給醫院送藥機器人起名叫 Roxie 和 Lola 是一種失職。
“什麼算機器人”這個問題,沒人答得上來
Kate 的書第一章就問了這個。她的回答是:她也不知道,而且這個問題本來就不該有標準答案。
她說,翻歷史會發現一個規律:一樣東西在被叫作機器人的時候,往往是因為它身上還帶著某種“魔法”。這個魔法指的是超出普通人理解範圍的那部分能力,那種“它是怎麼做到的”的神秘感。一旦技術普及,魔法消失,它就不再是機器人了。自動售貨機在幾十年前就被稱作機器人,現在沒人這麼叫。
Lex 給了一個自己的定義:機器人是某種具備一定智慧、又保留一點魔法的東西,那點魔法讓它可以應對生活裡的不確定性。按這個標準,自動駕駛汽車算機器人,因為它要在混亂的真實路況裡做判斷。
Kate 說她認同這個角度。而機器人學家給出的技術定義是另一套:得有物理實體,得知覺,得感知環境,得自主決策,得作用於環境。這套定義聽起來挺嚴謹,但拿智慧手機一套就崩了:手機全都能做到,可沒有一個機器人學家會承認手機是機器人。
“我在這本書裡沒有給機器人下一個確定的定義,因為不存在所有人都同意的定義。”
(凱特·達林)
真正讓 Kate 在意的是另一件事:普通人腦子裡的機器人形象,幾乎都指向人形。你去 Google 圖片搜“robot”,出來的全是有軀幹、有頭、兩隻胳膊兩條腿的仿人機器。
她想把這條思路掰回來。因為一旦把人形當成預設設定,後面的討論就全歪了。
拿機器和人比,從一開始就比錯了物件
為什麼人形設定會把人帶溝裡?Kate 給了兩個理由。
第一個是技術上的。早期人工智慧研究裡確實有一批人想復刻人類智慧,這個方向今天還有人在做,學術價值也還在。但走到今天,AI 並不是照人腦那個路子長出來的,它壓根不按人的方式“想”。可公眾討論裡,一提到智慧,比的永遠是人的智慧,好像人的智慧是唯一的座標原點。
第二個理由更直接:把人類已經有的智慧再造一遍,本身就沒多大意思。
她的原話大意是,從理解自身智慧的學術角度看,複製人類智慧有意義;可從“這東西能拿來幹什麼”的角度看,真正有意思的是造出新東西,造出一套人類沒有的技能,然後跟它合作。它得在很深的層面上跟我們相似,否則沒法建立連線,但在大多數維度上應該跟我們不同。
支援人形機器人的常見論據有兩條。一條是溝通,人最容易對跟自己像的東西產生共鳴;另一條是環境,我們的世界是為人造的,有臺階、有窄門、有門把手,機器人想在這個世界裡走動,人形最省事。
Kate 認第二條,但對第一條有保留。
社會機器人學這些年的研究結論是:你不需要它長得像人,甚至不需要它表現得像人,只要它能發出足夠多的社交線索就夠了。 R2D2 只會嗶嗶叫,一個帶輪子的垃圾桶,人們對它的喜愛程度超過 C-3PO 這個真正的人形機器人。
一個發光的球體,一個語調,一次極簡的互動反饋,就能讓人開始擬人化。Kate 說,很多團隊在這件事上過度設計了,簡單的東西往往走得最遠。這話動畫師最懂。
真正該請來設計機器人的,是迪士尼那幫人
Lex 接過話頭說,設計 Cosmo(Anki 出品的桌面機器人)的那批人,本質上就該是動畫師,是迪士尼那種背景的人,而不是機器人學家。機器人學家在自己的學科裡很強,但跨界的事他們不懂。
Kate 順著他往下說了一個判斷:21 世紀初的機器人學和 21 世紀後期的機器人學,會是兩回事。 今天你自稱機器人學家,做的主要是控制和機構;往後,那些真正沒解決的大問題全都落在社交層面、落在跟人打交道上、落在感知和“大腦”這一層,底層控制反而會成為相對成熟的部分。
Lex 認為機器人學正在經歷一次“出櫃”。機器人早就在了,只是一直待在幕後,待在工廠裡,現在它們開始走進超市、醫院、街道這些跟人共享的空間。而這一批公司正在犯同一類錯誤:把所有精力砸在工程上,砸在讓機器人別撞到人上,卻忘了想一件事。
他的說法是,你不該只去解決感知和控制問題,你還得教會機器人說一句“操,對不起,我搞砸了”。
“或者學會求助,或者能把自己的不確定性表達出來。”
(凱特·達林)
她的補充是,感知和控制這道題人類自己也沒解完,我們只是做得特別好而已。真正的魔法在於自嘲、在於清楚自己的短板在哪、在於把這份自覺傳達出去。人機互動領域已經積累了一整套方法來做這件事,問題是很多公司根本不做 HRI,他們的團隊裡沒有這個人。
然後 Marty 就登場了。
Marty 做錯了什麼?它什麼都沒做錯
疫情前,Kate 和 MIT 的一位學生打算正經研究一下 Marty 現象,後來因為沒人敢去超市,專案黃了。但前期的觀察已經足夠說明問題。
那位學生在自己的社交圈裡發現,Facebook 上所有人都在抱怨 Marty。“這個詭異的機器人是什麼東西”“它一直在盯著我”“它老是擋路”。她順手做了個粗糙的推特情感分析,抓取提到 Marty 的正負面內容,結果撞上了那個生日派對:Stop & Shop 給 Marty 辦生日會發蛋糕的那天,負面提及量衝到峰值。
誰會因為免費蛋糕而生氣?因為討厭 Marty 的人會。
她們用 Mechanical Turk 做了個線上調查,想搞清楚人們到底不滿什麼。結果顯示,抱怨集中在三件事上:它是個監控機器人;它在盯著我看;它擋路。 沒多少人擔心它搶工作。
而 Marty 的真實功能,只是找地上的灑漏。
它不看人,不採集人臉,不做任何跟監控有關的事。可它一米八的個頭,在過道里慢慢挪動,頭頂兩隻大眼睛,這個組合在人的直覺裡就等於“在看”。Kate 猜,那兩隻後來加上去的卡通大眼睛,可能恰恰加劇了被注視的感覺。設計的人大概沒往這個方向想過。
Lex 丟擲了一個類比:Marty 是不是現實版的 Clippy?
這條線索挺關鍵。Clippy 是微軟 Office 裡那個回形針助手,Lex 喜歡它,但很多人恨它。恨到什麼程度?微軟後來直接把它砍了。
斯坦福的 Clifford Nass 是研究人機互動的老前輩,他對 Clippy 的解釋是:人們把 Clippy 當成了一個社交主體,而不是一個工具。 一個工具打擾你、打斷你、記不住你剛說過的話,你會覺得難用;一個社交主體這麼幹,你會覺得被冒犯。所以人們對 Clippy 的抱怨強度,遠超過對一個非人格化軟體應有的反應。
這個邏輯完全可以套到 Marty 身上。它擋路、它盯人、它礙事,這些如果發生在一個推車上,人頂多繞過去;發生在 Marty 身上,人就會發帖罵它。
對機器人的恨,和對機器人的愛,是同一套機制
Lex 提了個有意思的角度:很多人嘴上抱怨婚姻,其實心裡愛得不行。抱怨是一種釋放張力的方式,也是一種表達親近的方式,互相擠對是關係的一部分。
照這個思路,Marty 未必沒救。它缺的是回應能力。
如果 Marty 會還嘴呢?Kate 說這裡面的設計空間大得很。可以順著演:對,我是 CIA 派來的,正在嚴密監控你的一舉一動。也可以拿人的購物記錄開玩笑:我正在收集你的資料,因為你太重要了。任何一種自嘲式的、把恐懼點破的回應,都比沉默要好。
人對機器人或 AI 代理的情緒反應,比對待普通機器要極端得多。原因就是那句老話:它們被當成社會性存在,而不是物件。愛得更深,恨得也更狠,中間地帶很窄。
所以 Marty 的處境很尷尬:它既不討喜,也不討罵,乾乾淨淨地卡在中間。它被硬生生造成了一個“企業伸出來的攝像頭”,而不是一個有自己任務、自己性格的獨立個體。
這裡有個很微妙的人性機制:我們對一個東西的信任度,跟它看起來有多“獨立”直接相關。 你跟一個真人說話,預設的前提是這段話不會被立刻傳給 CIA;可你面對一個明顯是某個大公司派出來的機器,這個預設前提就不成立了。人格化程度越低,越像大公司的延伸,被監視的感覺就越強。
而一旦人格化做得很粗糙,效果更糟。人們會意識到:這是公關部門試圖給一臺監控機器套上一層友善外皮。
元宇宙的頭像為什麼看著不對勁
Lex 把這個話題拐到了 Meta 的元宇宙上。扎克伯格發的那些虛擬形象,被人嘲笑得厲害。他說這裡面有個說不清道不明的東西,就是“不真誠”。
這跟社交機器人面對的是同一道題:怎麼設計一個虛擬空間,讓裡面的人際連線達到面對面那種質感。
Kate 說她沒怎麼研究過,只在推特上看過別人發段子。但她提了一個疑問:Meta 砸了那麼多錢,為什麼做出來是這個樣子?總得有個原因。
Lex 跟 John Carmack 聊過這個,他的解釋指向大公司結構本身。
大公司有一套流程,這套流程會殺死獨立創作者身上的那股火。 一個想法進了公司,先過 PR,再過法務,再過一堆“這個會不會有風險”的評審,出來的時候已經被磨成了通用款。所有可能引發爭議的東西都被削掉了,剩下的就是安全的、無聊的、誰都不會討厭但也誰都不會喜歡的東西。
他自己補了一句:現在這個環境下,人被嚇怕了,而恐懼的結果就是,鬧得最兇的那批人把一切都毀了。
人際連線的魔法恰恰在於冒風險:開一個可能不太妥當的玩笑,露出一點真實的個性,在安全的邊界內試探。這些在元宇宙裡被徹底警惕掉了,因為性騷擾和性侵犯的可能性確實存在,而且不低。該防,但防過頭的結果是所有人都變成了沒有個性的機器人。
Kate 在這裡補了一個她自己的觀察,也是她長期批評的一點:很多人一談到機器人的人格化,就會擔心“是不是在強化不現實的審美標準”“是不是在物化女性”“為什麼機器人都是白的”。這些擔心本身有道理。但她認為,創造力足夠的話,完全可以設計出一個非人形、但讓人更有共鳴、同時還繞開所有這些偏見問題的形態。
問題出在流程上。公司裡有個部門,職責就是找風險。他們的 KPI 就是從任何東西里找出可能有害的部分,哪怕那個東西實際上無害。你讓這樣一個部門去審創意,創意必死。
Lex 的解法是“仁慈的獨裁者”。你需要一個喬布斯式的人物,一個能一刀切過法務和公關、但同時心地善良的人。他說,真正偉大的設計師做出來的東西,不會傷人。他們腦子裡想的是幾百萬人用這個東西時的感受,那種想象本身就能給人帶來快樂。
Kate 同意這個方向,但她的措辭更剋制:你可以保留判斷權,但至少得讓一群背景多樣的人來看你的作品,幫你發現自己的盲點。 聽不聽是一回事,有沒有這個反饋渠道是另一回事。你可以選擇忽略,但你得先知道。
Roxie 和 Lola:一臺送藥機器人為什麼叫這個名字
Kate 的書裡有一張照片,兩臺醫院送藥機器人,配文是:“兩臺醫院送藥機器人,它們那性感護士風的名字 Roxie 和 Lola 讓我翻白眼翻到差點掉出來。”
她說她翻白眼不是因為外形。外形就是個小盒子帶輪子,挺好的。名字才是問題。
給機器人起名字這件事本身沒錯,研究顯示,光是起個名字就能促進技術接受度。機器人出錯的時候,人會想“Betsy 搞錯了,我們幫幫她”,而不是“這破機器又壞了”。
問題在於起了什麼名。
這裡有大量研究:機器人的性別化命名和它們的職能高度相關,而且帶著明顯的刻板印象。 做輔助、做護理的機器人,通常被賦予女性化的名字和聲音;做決策、做“全知型計算機”的,比如 Watson,通常是低沉的男聲。Roxie 和 Lola 這種名字,直接就把護士這個職業和某種特定的性別想象綁在了一起。
Kate 的態度是:這是一罐完全沒必要開啟的蟲子。 換個名字就繞開了,成本為零。人們之所以沒換,是因為壓根沒往這兒想。
Lex 把話題推進到了更深一層:那是不是乾脆不該給機器人做性別設定?
Kate 說性別是個雷區,但現實是你很難阻止人去給機器人賦予性別。 你不給名字、給箇中性聲音,使用者自己會挑一個補上。所以“完全不設定”未必比“設定一箇中性的”更好。
而 Lex 提出了一個更尖銳的批評:他認識不少機器人學家,刻意不給機器人做性別、也不起名,連一個能在對話裡自然使用的名字都不給。他認為這是一種逃避責任。
人一定會擬人化,這是擋不住的。 你選擇不做設定,只是把自己從“它會被怎樣擬人化”這個責任裡摘出去了,但擬人化照樣會發生。哪怕是一臺波士頓動力的機器狗,設計上完全沒有社交屬性,人一看還是會把某個部件當成腦袋。
Lex 提到那臺四足機器人上伸出來的機械臂。它本來是隻手臂,但所有人第一眼都當成了頭。波士頓動力後來也接受了這個現實。
Kate 認同這個說法。她的立場是:既然擬人化必然發生,那設計者就有義務去引導它發生的方式。 哪怕你做的是一臺工業機器人,你也得預見人會往它身上投射什麼。
波士頓動力的影片,是工程師的幽默,也是無意的廣告
Lex 提到波士頓動力那些病毒影片。機器人跑酷、翻跟頭、被踹一腳還能站住。
Kate 說,早期的波士頓動力是純工程導向,公司幾乎全是工程師,影片也是工程師自己拍的,因為那是他們覺得好玩的事:測試系統的魯棒性。前 CEO Marc Raibert 親自盯著影片的拍攝,對真實性有近乎偏執的要求,不允許在畫面裡出現任何給機器人“放水”的地形坡度。
影片火了之後,他們才開始意識到這件事有意思。
後來警察部門用上了機器狗,輿論炸了,公關噩夢來了,他們才開始招人機互動背景的人。
Lex 補了一個更冷的觀察:站在波士頓動力的立場,人們害怕這些機器人,某種程度上是好事。 因為他們主要的錢來自工業場景,工廠巡檢、危險作業。讓機器狗在公眾心裡帶一點恐怖感,影片傳播更廣,品牌更強。他們沒打算把這些東西送進千家萬戶做情感陪伴,所以完全可以在影片裡玩這個梗。
Kate 說他們現在確實很當回事了。但她還是更喜歡那批由工程師主導的影片,因為那是真心覺得好玩才拍的。
Lex 提到自己有幾隻機器狗,正在做研究。他說他有個目標:家裡任何時刻都得至少有一個機器人在動。 他還囤了一堆可程式設計的 Roomba,多到不知道拿來幹嘛。
這本書真正想說的是什麼
繞回書名。《新物種》的核心類比是動物。
人類跟動物的關係有幾千年的歷史,其中有奴役、有陪伴、有工具化、有情感投射、有倫理爭議。這些關係裡的每一條張力,幾乎都能在人和機器人的關係裡找到對應。我們不太會把動物當成人類,所以我們不會要求動物達到人的智慧水平,也就不會陷入“機器人還不夠像人”這種執念。
Kate 想借這個類比,讓人放下人形執念,轉而思考一個更實際的問題:我們想要跟這些新物種建立什麼樣的關係?
這個問題在設計階段就要回答,而不是等產品上市、使用者開始在推特上罵了才被動補救。
Marty 的教訓是:一個功能上完全正確的機器人,可以因為設計上沒考慮人的社交期待,變成全網公敵。Clippy 的教訓是:一個被當成社交主體對待的軟體,一旦社交表現不合格,使用者的反感會遠超它實際造成的麻煩。Roxie 和 Lola 的教訓是:不假思索地沿用社會偏見,成本極低,代價卻由所有人承擔。
而所有這些問題的共同點是:它們都不是靠更強的工程能力能解決的,解法在造東西的時候多想一步。
給做產品的人的幾條具體建議
如果你正在做跟機器人、AI 助手、虛擬形象相關的產品,這期對話裡有幾件事是可以直接拿去用的:
- 先假設使用者一定會擬人化,再決定你要引導成什麼樣。不做設定不等於擬人化不發生,只等於你把方向盤扔了。
- 把“承認錯誤”和“表達不確定”當成核心功能來設計,而不是等出了問題再補。一句“我搞砸了,對不起”,能擋住的負面情緒遠超你的想象。
- 別在機器人身上用那種暗示監控的視覺元素。大眼睛、持續注視、正對通道的朝向,都會觸發被監視的感覺,哪怕技術上完全沒在採集資料。
- 命名和性別設定之前,先問一句:這個名字是不是在無意識地複製某個社會刻板印象。護理類用女名、決策類用男聲,這套預設值該被打破了。
- 做使用者調研,但別讓調研替你決定未來。你要設計的是還沒存在的東西,而被調研的人活在現在。聽,然後自己判斷。
- 如果公司裡有專門找風險的部門,別讓他們進創意評審的第一輪。他們的工作是從任何東西里找出有害的部分,這個機制對創意是致命的。
- 找一群背景跟你不一樣的人來看你的設計。你不需要聽他們的,但你需要知道自己的盲點在哪。
- 別指望 PR 部門做出好東西。Marty 的生日派對就是公關思路的產物:他們以為問題在於機器人不夠親切,其實問題在於人們壓根不想在超市過道里被一個一米八的東西注視。
本集資源與出處
- 影片在 YouTube 收看
- 音訊官方 MP3 直鏈來自 lexfridman.com 官方播客 RSS
- 官網Lex Fridman 官網本集頁面
- 文稿本站純文字版