# 阿揚娜·霍華德：人機互動與安全關鍵系統的倫理 > 機器人學家談人機互動的設計思路，以及醫療、自動駕駛等安全關鍵系統中的倫理與責任。 - 原標題：Ayanna Howard: Human-Robot Interaction and Ethics of Safety-Critical Systems - 期數：特別節目 - 釋出日期：2020-01-17 - 嘉賓 / 主題：阿揚娜·霍華德 - 網頁版：https://lex.qiaomu.ai/tw/ep/ayanna-howard/ - 官方頁面：https://lexfridman.com/ayanna-howard/ - 精讀字數：約 10457 字（閱讀約 23 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 阿揚娜·霍華德（Ayanna Howard）被問到"你見過的最了不起的機器人是誰"時，她說自己沒見過。 她是在電視裡認識那個機器人的。《傑森一家》（The Jetsons）裡的女僕羅西（Rosie），會做飯，會打掃，會管孩子。霍華德說，她是看著羅西長大的。 羅西身上有個矛盾。她幾乎是萬能的，可她又算不上一個"完美"的機器。她時不時會鬧點情緒，會在喬治做蠢事的時候頂他一句，會提醒他別太離譜。她關心人，尤其是那幾個孩子。 霍華德是佐治亞理工學院的機器人學教授，主持人類自動化系統實驗室，研究方向是人機互動、家用輔助機器人、治療機器人，以及極端環境下的遠端機器人探索。她觀察到一個現象：**人們嘴上說要完美的機器人，真正讓他們產生信任的，恰恰是那點不完美。** ## 完美在機器人學裡是個什麼詞 從理論角度看，完美和精確度綁在一起。一個函式，能不能百分之百正確地完成，零誤差。這是機器人學語境下的完美。 放到自動駕駛上就更清楚了。保持車道，綠燈走紅燈停，把場景裡所有的實體都準確識別出來。這套東西在技術上已經相當成熟，可它離人想要的差得很遠。 霍華德說，羅西按精確度標準衡量一點都不完美，但她完美地做到了另一件事：她適應人。而我們真正想要的完美，就是這個適應能力。至於百分之百遵守我們自己剛編出來的那些規則，其實沒那麼重要。 > "我們想要的是機器人能適應我們，而不是百分之百執行那些我們隨手定下的規則。"（阿揚娜·霍華德） 她還舉了個開車的例子。如果所有人都完美駕駛，誰也到不了目的地。你闖過多少次於黃燈，因為有輛車眼看就要撞上你；你多少次從沒車的地方橫穿馬路，因為對面確實沒車。人類駕駛本來就帶著這些偏差，一部分原因是，這世界本來就是這麼運轉的。一個按字面意義做到完美的機器人，反而沒法跟我們共處。 ## 自動駕駛卡在哪 這個行業的時間表一直在往後推。霍華德回憶，幾年前一大批公司重金下注自動駕駛，其中也包括不少機器人學家和投資人，有人放話五年之內無人車就能上路。現在有人說五年，有人說十年二十年，也有人乾脆說永遠不會。 目前跑得比較順的，基本都在半封閉環境裡。還是會有行人走動，會有商店，但不會有別的司機。因為其他人類司機才是真正的難題。她提到一個細節：如果前面那輛車貼著"學員駕駛"（Student Driver）的貼紙，你立刻就知道對方隨時會做出莫名其妙的動作；如果旁邊車裡坐著兩個年輕人有說有笑，你也立刻警覺起來。這種判斷依賴大量微小線索，你怎麼把它們塞進一個自動駕駛系統裡？ 波士頓的十字路口各有各的性格，不同的街區不一樣，同一天的不同時段也不一樣。我們的大腦把這些都學會了，可你讓人自己內省，他講不出來。 有沒有捷徑？霍華德給的答案是一座為自動駕駛專門設計的新城或新街區。設計時就知道會有這些異常，就知道人是這個樣子，那就按這個假設來規劃。這裡仍然有人，只是噪音被壓到最低。住進來的人身上帶著自我選擇，房產銷售的時候就會把這一點寫進賣點。真出了事，住在這裡的人大概也比別處的人更寬容一些。 這是三條線索裡的兩條。第三條是法律責任，還有政策、政府那一堆扯不清的東西。霍華德說這部分她不太想碰。 ## 殺人機率寫進目標函式 主持人萊克斯·弗裡德曼（Lex Fridman）丟擲一個更尖銳的問題：車在路上其實時時刻刻在互相威脅對方的生命。過路口需要果斷，需要冒一點風險。如果把駕駛行為壓縮成一個目標函式，裡面必然存在一個"致人死亡"的機率項。這個機率必須低到你在倫理上能接受，又必須高到別人不敢隨便欺負你、不敢在你面前大搖大擺地橫穿馬路。 行業裡有句話：車不會殺人，人才會殺人。霍華德順著這句往下推了一層。 > "機器人演算法不會殺人，寫機器人演算法的人會殺人。"（阿揚娜·霍華德） 她說，起碼在近期和中期，人還在迴路裡。可能是駕駛員，可能是開發者。我們還沒到機器人自己寫機器人、自己定義行為的階段。 問題在於，一個開發者要對一個人的死亡負某種責任，這件事聽起來就讓人不安。所以她認為，倫理在工程社群裡必須被當成核心議題，因為它無法繞開。 你可以宣佈自己不碰武器化的 AI，這沒問題。可你寫的演算法可能會被用在醫療裡，可能會決定某個人能不能拿到某種藥。如果那個人沒拿到藥，死了，這算不算你的責任？ > "如果你在寫程式碼的時候，沒有意識到自己手裡握著這種權力，那不是一個好的狀態。我們需要在程式設計的時候，比現在多得多地去想這件事。"（阿揚娜·霍華德） 她講了一段計算機行業的歷史。早年沒有專職測試，開發者自己測自己的程式碼，把所有情況跑一遍。後來大家發現這樣不行，漏掉的東西太多，於是有了測試崗。再往後，大多數開發者的態度變成了：編譯器報沒報錯，警告看一眼，差不多就行，剩下交給下一道流程。 霍華德說，倫理現在就處在"早期開發者自己測程式碼"那個階段。還沒有倫理測試員這個崗位，所以你只能自己看，自己問一句：這段程式碼在倫理上會產生什麼後果？ 她拿醫生做類比。醫生遇到過病人沒能活下來的情況，他們會因此放棄嗎？不會。每一次面對新的病人，他們都知道這個人有可能救不回來，這個念頭一直在背景裡。醫學院教的是責任，同時也教工具，讓醫生不至於在這樣的壓力下崩潰。我們給開發者的是什麼呢？ 大禮伴隨著大責任，這是醫學院的話。霍華德覺得，如果把這句話改一改用到開發者身上，情況會好很多：寫程式碼是一份大禮，它帶來的是大責任，這兩件事要合在一起講。 弗裡德曼說他自己最近幾個月收到了不少資訊，說他手上沾著血，因為他在做半自動駕駛相關的工作。他的邏輯是，半自動意味著人會失去警覺，而失去警覺的人會受傷。他有很多個晚上為此睡不著。當然他可以自我開解：美國每年有四萬人死於交通事故，我們做這件事最終是為了救命。但現實是，你寫的程式碼有可能殺死某個人。 霍華德的回應是，"負擔"這個詞用錯了。她說這是一份饋贈，但你必須極度嚴肅地對待它。 ## 偏見不是抽象概念 在一篇題為《關於我們自己和我們的機器人造物的醜陋真相》（The Ugly Truth About Ourselves and Our Robot Creations）的論文裡，霍華德梳理了幾類會影響機器人系統執行的偏見。 她先給了定義。偏見是我們所有人都有的一些預設觀念，涉及群體、習慣、身份。處理問題時，這些預設會影響我們的判斷和輸出。偏見可以是正面的也可以是負面的，而負面偏見一旦被意識到仍然繼續，就變成了歧視。 她舉的例子是青少年駕駛。保險公司對青少年司機收很高的保費，背後是年齡偏見，但它有資料支撐：青少年確實更容易出事故。家長們會抱怨，但幾乎沒人說這不公平。整個社會在這一點上出奇一致。 同樣一個例子換一下就不行了。假設保險公司因為某個波士頓街區事故多而提高保費，後來發現這個相關性其實對應的是社會經濟因素，那立刻就成了問題。這裡沒有清晰的分界線，這正是這類問題難辦的地方。 醫療領域的偏見更深。歷史上 FDA 的藥物試驗會排除育齡女性，導致很多藥在不同性別上的效果資料並不完整。放到機器人設計上，一個外骨骼該用什麼材料、多重、什麼形態，你打算圍繞誰來設計？美國女性的平均身高體重和男性有差異。如果你從第一天就沒想過這件事，你設計出來的東西最後往往剛好合適你自己實驗室裡的那批人。 資料的問題更麻煩。社會本身就帶著偏見，你收集來的資料，哪怕取樣方式再平衡，也還是裝著同樣的東西。預測性警務、犯罪再犯率評估、醫療演算法，都是這個邏輯。 她提到一篇被媒體起了聳動標題的醫療演算法論文，標題裡直接寫了"種族主義 AI"。霍華德說她本人不喜歡聳動標題，因為論文字身做的是一套完整分析，而媒體的標題會把討論帶偏。 但她的重點在另一處。這個演算法確實存在按種族區分的效果差異，我們需要做得更好，這是責任。可是還有一句話沒有被講出來。 > "最差的 AI 仍然比我們好。你把人類裡最好的拿出來，在某些事情上，還是比不過最差的 AI。"（阿揚娜·霍華德） 弗裡德曼接著這個點往下說：我們給 AI 設的倫理門檻高得離譜，要求它絕對公平，而絕對公平的定義都還說不清。門檻設在不可能達到的位置，等於預設了失敗。但霍華德那句話更重要：即便如此，它還是比現在這個系統好。 霍華德補充了一個被低估的好處：AI 是可以被戳的。一家醫院或一座城市做得好不好，以前你不打官司就很難查證。現在你可以把資料跑一遍，指出這裡確實有問題，問題在哪，然後進入修復環節。這套流程形成了反饋閉環，比等著有人起訴快得多。 她舉了人臉識別的例子。喬伊·布奧拉姆維尼（Joy Buolamwini）點名了幾家公司，這些公司基本是尷尬地承認，然後修好了。再暴露新問題，再修。這個迴圈在把整個領域往更公平的方向推，前提是兩邊都願意動：開發者願意說"我聽到了，我們會改"，外部的人願意指出問題。 ## 懸賞一個倫理漏洞 既然偏見這麼多，有沒有系統性的解法？霍華德說現在有兩條路，第一條是做系統性的反饋和修正機制。 目前的狀況是零散的。某個研究者發現了不公平的結果，寫成論文發表，然後開發者或採用演算法的公司決定要不要修。整個過程由研究者的興趣驅動，這意味著大量沒被研究者看上眼的問題，根本沒人查。 第二條路，她半開玩笑地說，要去戳一下大公司。安全領域有漏洞賞金，誰找到安全漏洞就給錢。為什麼不能有倫理賞金？誰找到一個公平性漏洞，就給一筆錢。 這件事是雙贏。公司表現出自己在意這件事，不必把全部內部資源都投進去。而且每個人的偏見視角不同，有人關注年齡，就會去找年齡相關的漏洞；有人關注性別，就會去找性別相關的。最後你得到的是一堆不同視角的發現，而且是資料驅動的。 聊到 Twitter、Facebook 這類平臺，霍華德說這些公司其實很努力。弗裡德曼提到一個困境：人們拿來指責平臺的東西，往往是個人化的軼事證據，我記得我說過某句話就被封了，很難在大資料層面被公允地討論。 霍華德說，一部分憤怒來自依賴。我需要你的時候，你沒能為我工作。但還有一部分問題在於，平臺傾向於自己內部解決。她打了個比方： > "這就好比我是隻狐狸，然後我被派去看守雞舍，因為我覺得狐狸吃雞這個問題需要被關注。"（阿揚娜·霍華德） 內部修復存在利益衝突。真在內部發現了什麼，多半第一反應是趕緊修掉，最好媒體別知道。這種處理方式累積起來就是信任崩塌。她建議的做法是公開說：我們有這個問題，請社群幫我們一起修，找到的人給獎金。 ## AI 能不能當總統 弗裡德曼問，AI 有一天會不會被選為總統，或者進入國會。霍華德的回答很乾脆：她不相信 AI 應該當總統，但她相信總統應該把 AI 當顧問用。 總統身邊始終有一個內閣，每個人帶著各自的專業判斷，總統聽他們說。AI 完全可以扮演其中一個角色。醫療領域放一個，教育領域放一個，人類總理不清的那些事，交給它去算。因為最後拍板的仍然是個人，而我們作為社會，需要一個能被看作人的領導者。 她說很多人沒意識到，領導人做決定之前其實接收了大量建議。他們很少有清早醒來突然靈光一現的時刻，更常見的流程是先有個想法，再拿去聽反饋，反饋好就推，反饋不好就退回去再問一圈。 ## 她為什麼還相信人 聊到人的善意，霍華德講了一件亞特蘭大的事。那年下雪，城市封了，其實雪不大，但結成了冰。結果有人開啟家門，招呼無處可去的人來住；酒店讓人睡大堂地板；雜貨店直接送吃的。沒有人在談價錢，陌生人之間互相問要不要捎你一程。 她說這件事說明，同情和愛是人身上更深的那一層。平時被滿足了、被照顧好了，我們才騰出精力去愛看戲。 弗裡德曼接過這個思路：分歧某種程度上是好時代的標誌，因為看別人吵架在哺乳動物層面是有娛樂性的。而 Twitter 和 Facebook 恰恰利用了這一點，爭議把人拉回平臺，平臺靠廣告掙錢。 霍華德補了一句：愛不太好賣。 ## NASA 實驗室裡那顆假眼珠 霍華德職業生涯的起點在 NASA 噴氣推進實驗室（JPL）。她印象最深的一次經歷，是看到一組人在做能實施眼科手術的機器人系統，時間大概是 1992 到 1994 年。 那是一套遠端操作裝置，用某種觸覺反饋（haptics）實現，今天達芬奇手術機器人的前身邏輯已經在那裡了。她走進實驗室，看見一個模擬的人臉模型，上面裝著假眼珠，旁邊是一支小鑽頭，操作者用觸覺裝置在遠端做手術。 讓她震動的是精度。那也是她第一次在物理世界裡親眼看到人和機器處在同一個空間裡協作。製造業裡的大型機械臂她見過，但那是隔離開的。這一次，一個人和一個機器人挨在一起，中間沒有任何屏障。 "那對我來說是個魔幻時刻。" 更早的種子來自電視。《無敵女金剛》（The Bionic Woman）讓她十二歲就決定要做機器人學家，那時她用的是一個更老的詞：控制論（cybernetics）。真正吸引她的是那些仿生部件，義肢那種東西。她說如果走上另一條路，她大概會去做生物醫學工程。 弗裡德曼說他最近見到了波士頓動力的 Spot，影片看過很多次，真見到實物、一對一相處的那幾分鐘，完全不一樣。他說那幾乎像是一次戀愛。霍華德完全理解，她當年在那個手術機器人實驗室裡感受到的就是這種東西。 她特別澄清了一點：她關心的是"類人"（human-like）。"人形"（humanoid）這個詞強調的是外形，那個方向本身吸引不了她。一隻機器人狗只要能在社交層面理解我們、回應我們，也算類人。人形機器人只有做到這一點，才真正進入她的研究範圍。 ## 資料裝上情緒晶片之後 聊到太空機器人，霍華德說她最愛的是《星際迷航》。她說自己算過，按劇裡的年份，她活不到那個世界，但她非常想去，哪怕只是在最早的探險階段。 弗裡德曼問她怎麼看待資料（Data）這個角色，尤其是裝了情緒晶片之後。霍華德說那段時間資料確實是一團亂。原因在於，情緒會讓智慧體變得不理性。沒有情緒的資料可以推演，哪怕是在帶情緒的場景裡，他也能按利弊權衡。一旦有了情緒，他自己的情緒也進了評估指標，周圍人的狀態被擠到一邊。 這跟小孩的發展階段一樣。小孩非常自我中心。霍華德說，情緒成熟度停在小孩水平的成年人確實存在，因為發展這條路有人走完了，有人走了一半停了下來。 所以她認為心理學在機器人研究裡被嚴重低估。她的團隊大量閱讀認知科學和發展心理學的文獻，因為那些研究積累了關於人際關係的知識，包括各個發展階段的關鍵節點。他們會拿人際關係裡的規律去對照人機關係：有一部分能對上，有一部分對不上。對不上的時候就要追問，為什麼這個場景裡不一樣，另一個場景裡又一樣。 弗裡德曼問她，如果看二三十年後的自己，戴心理學帽子的時間會不會越來越多。她說最難的部分落在互動過程中的適應，也就是學習，心理學和傳統機器人學都還沒有直接對應它的答案。她把自己的轉變講了一遍：從電氣工程和控制理論出發，後來發現自己的演算法需要人的資料，再發現人的感知模型是關鍵，於是變成了人機互動研究者，現在又在這個基礎之上做 AI。 從控制理論轉進人機互動，在學術圈是高風險動作。那時候連相關的會議都還沒有。她說驅動她的是問題本身夠有意思，也夠難。她喜歡走進一間屋子，然後意識到自己不知道該怎麼做。如果一件事沒有意外、沒有驚喜，她反而覺得沒意思。不走這條路她可以掙更多錢，留在學術圈做這個，是因為可以一直走進那樣的屋子。 ## 信任不是問卷上的那個勾 霍華德的研究重心落在過度信任上。 她給信任下的定義是行為層面的。信任體現在行為裡，跟你勾了哪個選項無關。如果你在使用技術的時候，行為上把它當成可信的來對待，那你就是信任它。 她的團隊做過這類調研。問"你信任機器人嗎"，回答基本都是不。再問"你會跟著這個機器人進一棟著火的樓嗎"，也基本都說不。然後再去看這些人的實際行為，答案就擺在那裡。 > "真正重要的是行為。你走到街上之前有沒有勾選'我不信任自動駕駛'，這件事不會影響別人，行為才會。"（阿揚娜·霍華德） 弗裡德曼說他讀到這類研究時常常覺得荒誕：把人點了一下某個答案當成信任的證據，幾乎像在用喜劇的方式編織關於真實行為的詩。 霍華德拿 Uber 舉例。它剛出現的時候，如果做一次問卷：你願意上一個陌生人的車，付錢讓他送你嗎？願意凌晨一點讓一個陌生人送你回家的單身女性有多少？大概沒什麼人會點頭。現在呢，人們把自己的孩子放進這樣的車裡。 過度信任跟第一次接觸的關係極大。第一印象好的話，後面出問題的機率會被壓下來，或者更容易被原諒。可技術從來不是百分之百準確的。怎麼把第一次接觸做對，目前還沒有答案。 她講了一個放射科的研究，讓她看到了希望。系統給醫生標註 X 光片上的可疑區域，只給一個選項時，會出現兩種極端：要麼完全不信，要麼無條件信，兩種都會漏掉病灶。改成給三個選項，哪怕系統已經算出最可疑的就是第一個，信任反而維持住了，整個群體的準確率也上升。 差別在於，醫生仍然在用自己的專業判斷做決策，人和系統之間的分工沒有被抹掉。 ## 教育、再培訓和不是所有人都在同一條船上 談到人機互動的應用場景，霍華德先自嘲了一句，醫療只是她的偏見鏡頭之一，另一個是教育。美國有些學區的師生比已經離譜到很難想象這個教室裡還能發生學習，因為人力根本不夠。機器人可以進課堂，也可以進課後空間，補上某些社群缺失的資源。另一端是勞動力再培訓和就業轉型，機器人系統在這裡的作用會越來越大。 教育的具體問題在個性化。霍華德認為個性化很重要，但有一個說明：能個性化到群體層面就已經可以了。如果把一個人按某些維度歸到某一類，哪怕這不是為他量身定做的，只要能匹配這個群體的學習節奏和參與方式，效果就已經不一樣。 大班教學難就難在這裡。你按中位數教，兩端的人都不舒服。很聰明的孩子會因為無聊而搗亂，跟不上的孩子也會因為無聊而搗亂，原因不同，結果一樣。如果把群體的定義收窄，就能照顧到更多人的真實需求。 這其實就是推薦系統在做的事。弗裡德曼說他作為音樂聽眾，大概已經被歸類得很準了，而且準得有點讓人心酸。霍華德笑著說，把這一套搬到教育上沒有任何理由做不到。 至於她更看好哪一端，答案是勞動力再培訓。風險投資這幾年在教育上的投入，大頭流向了再培訓。政府投入也在增加，一部分動機是恐懼：AI 到底會替代掉多少崗位，那些不再納稅的人該怎麼辦。早期教育她不那麼樂觀，因為它要等十六到十八年才能看到結果，而掏錢的人很難對這麼久的時間尺度產生感覺。 弗裡德曼提到安德魯·楊（Andrew Yang）在競選總統時主推的全民基本收入。霍華德說她確實相信 AI 和機器人會擠掉一部分工作，也會造出新的工作。她擔心的另有其事：新造出來的會是些什麼樣的工作。 從佐治亞理工畢業的人沒問題，他們拿到的技能讓他們能適應，哪怕現在這份工作沒了。她擔心的是沒有這種教育質量的人，他們有沒有能力、有沒有背景去接住那些新崗位。這會讓社會內部以及國際之間的分化更嚴重。她還擔心一件事：能不能平等地接觸到這些好東西。 > "像我這樣從佐治亞理工出來的人不會有事。但這只是人口裡很小的一部分。我們得從更全球的角度去考慮，讓所有人都能碰到醫療、教育、AI 這些美好的東西。"（阿揚娜·霍華德） ## 愛和被愛能不能被算出來 弗裡德曼問了一個偏浪漫的問題：《她》（Her）裡那種人工智慧伴侶，人能不能愛上它，它能不能愛回來。霍華德說，設計出讓人愛上它的系統，她認為完全可行。至於它愛回來這件事，它可以是"模擬愛"。 所謂模擬愛，就是在某些情境下把對方的需求放在自己的前面，把對方的幸福以某種權重寫進目標函式里，唯一的原因是"我在乎他"。這樣一來，最終的目標函式就變成了這段關係的持續時間。霍華德說，這種東西其實很容易設計。 弗裡德曼追問，那哪算得上愛。霍華德的回答是，我們其實沒有關於愛的經典定義，也沒有能力看穿另一個人的大腦去檢查裡面的演算法。 弗裡德曼把問題往前推了一步。如果這個系統說自己有意識，說自己害怕被關掉，說它愛你，那我們該怎麼辦？機器人有一天該不該擁有權利？ 霍華德說，如果近期不處理這個問題，她能看到一個未來：這些智慧體在持續適應和學習之後，會提出某些東西應該是基本的。她希望我們在走到那一步之前就把問題解決掉。 至於這是不是壞事，取決於那時候機器人處在什麼位置。她給出的框架是分類：機器人大機率不會被當成擁有人權的人類，但可以被放進"財產"這一欄，也可以被放進"動物"這一欄，這兩欄裡的權利是不一樣的。 動物作為生命有自己的權利：不能被虐待，虐待了要坐牢，但它們不能投票，可以被安樂死。財產的權利則附著在所有人身上，別人砸了你的東西，受保護的是你。她提醒，社會對權利的定義是會變的。以前女性被視為財產，侵犯一個女性，在法律意義上等於損壞了另一個人的財產。 所以她設想的路徑是：某一天我們會確立某種基準規範，然後這個規範繼續演化。今天還有一些國家的女性權利狀況讓全世界看不懂，而世界的態度也在推動這個變化。 ## 為什麼機器人公司一家接一家關門 聊到 Anki、Rethink Robotics 這些公司的倒閉，霍華德說每一家都有自己的故事，只有 Anki 她看不懂。從外部看，她看過他們的資料，看起來像是找到了產品市場匹配（product-market fit），融資卻停了。 她給產品市場匹配下的定義很直白：我有一個產品，想按某個價格賣。市場上願意按這個價格買的人，夠不夠多到讓我成為一家能持續盈利的公司。如果東西成本一千美元，所有人都想要，但只願意付一美元，那就沒有匹配，哪怕一美元有人買也不行。 iRobot 是個反例。它起家靠的是政府和軍方的合同，那些合同給了它活下去的資金，撐到了 Roomba 出現。Roomba 剛上市時的價格是早期嚐鮮者願意付的價格，那一批人足夠把它養到盈利。現在它證明了這個市場，對手也來了，歐洲還有一堆不那麼出名的產品。 霍華德說，從行業規律看，這不算壞時候，只是作為機器人學家會覺得沮喪。今天排在頭部的公司，大多數都不是第一個上場的。Google 不是第一個搜尋引擎，AltaVista 是。Facebook 不是第一個社交網路，MySpace 是。第一批玩家把市場驗證出來了，把熱度做起來了，然後沒走到下一層。真正走到下一層的是第二批。 機器人領域的第二批會不會出現，她說不確定。現在拿到風投的那些協作機器人公司，有的像 Rethink Robotics，有的像其他已經消失的名字，產品分佈在工廠、家庭、診所。她分不清這批是第二批，還是仍在第一批裡。自動駕駛那一批也一樣，說不清是第幾批。要等一個獨角獸出現才能判斷。 ## 該不該害怕機器人 弗裡德曼問，大眾文化裡對波士頓動力那種足式機器人的恐懼，如果做一次心理分析，源頭在哪。霍華德的回答是分兩半的。 不該害怕，前提是我們這些做這行的人明白有些東西必須改。如果什麼都不改，那就該害怕。 要改的是思考方式。要考慮後果，要考慮倫理，要讓討論持續存在。不能再抱著"先部署出去，之後就不管了"的態度，不能忘了路上還有行人，一輛車可能變成武器。現在還看不到成型的解決方案，但至少有人開始把"釋出這些系統時要負倫理責任"當成一件正經事，包括機器人、醫療、自動駕駛，以及很少被公開討論的軍事領域。 軍事機器人會帶來同樣量級的影響。誰有權按下那個扳機，這類對話得有人來做。 總體判斷是：只要整個社群越來越多地去想倫理問題，人就不需要害怕。她認為正面影響的總和會壓過潛在的負面。 至於存在性威脅，她不信。她的類比是父母和孩子。父母希望孩子過上比自己更好的生活，希望他們走出去看世界。等到孩子長大，他們比父母聰明、有錢、機會更多，可能也不再聽父母的話了。但他們不會回頭把父母殺掉。因為在成長過程中，父母把價值觀裝了進去，把共同體的概念裝了進去。就算你更聰明、更有錢，這段關係裡剩下的還是愛和關心。 所以哪怕某天奇點真的來了，某個 1980 年代留下的老系統突然進化，它可能會說：我比你們聰明，我有意識，這些人類實在很蠢。然後它大概會補一句：但我就是沒法毀掉他們。出於感情。 弗裡德曼接了這個梗：逢年過節還是回來吃頓火雞。 ## 她為什麼選《駭客帝國》 霍華德說，《駭客帝國》是她最喜歡的 AI 相關電影之一，因為裡面裝著她思考的所有東西。機器和人之間是一種共生關係，它們沒有毀滅人類，而是把人類養了起來。即便如此，機器也需要人類是幸福的，為了讓人幸福，它們不得不造出一個殘酷的世界，然後自己也活在裡面。 而人保留了選擇權。你可以留在那個有缺陷但完美的幻覺世界裡，也可以選擇出去，可能幾天沒飯吃，但完全是自主的。 她說這跟機器人未來的處境是同一件事。哪怕有一天機器人有了意識，它們仍然是我們社會的一部分，它們會和我們一樣受苦。最後一定得找到一個共生的平衡點。電影裡也有那樣一批人，倫理學家、機器人學家，知道這件事必須停下來，然後去做點什麼。 如果讓她挑一個科幻角色聊一天，她不會挑羅西，她對羅西的腦子沒興趣。她挑資料。而且是裝情緒晶片之前的資料，因為可以問他怎麼解決倫理問題。資料能一步步理性推演，在這個過程裡她也能把自己的想法理清楚。有些根本性的問題，只有他能幫著一起想。 霍華德在訪談的最後把問題交還給了一個更樸素的說法：機器人是人造出來的，它帶著我們的價值觀。既然如此，我們能做的事就很清楚。 ## 可以馬上做的事 - 寫完一段會影響人的程式碼之後，多問一句"它會傷害誰"，把這個動作變成習慣，就像早年開發者必須自己跑一遍測試那樣。 - 設計任何面向人的系統之前，先明確你在圍繞誰設計。把身高、體重、語言、性別、年齡這些變數顯式列出來，別預設採用自己和同事的身體資料。 - 成立團隊或專案時，主動引入關注不同偏見維度的人。年齡、性別、種族、收入水平，各自的關注點不同，湊在一起才能覆蓋更大的問題面。 - 如果想推動一家公司改進演算法的公平性，試著把外部審查變成一種激勵：設定倫理漏洞賞金，讓找出問題的人得到回報，別隻靠內部自查自糾。 - 判斷一個技術能不能用，別隻看自己的態度，看你自己的行為。你會不會把車交給它，會不會把孩子放進去，行為比問卷上的勾選誠實得多。 - 給系統做推薦時，優先給出多個選項，別隻給一個答案。保留使用者自己的判斷空間，信任和準確率往往能同時提升。 - 在機器人、自動駕駛這類話題上保持接觸，別迴避。恐懼大多來自不瞭解，實際用過之後，人會進入更理性的判斷狀態。 - 在關注 AI 帶來的效率增長時，同時關心誰能用上它。技術紅利的分配方式，和技術的效能一樣值得花時間討論。